Hugging Face 发布新SOTA分词器'tokenizers v1'

Hugging Face 发布了'tokenizers v1',这是一个新的SOTA分词库,在保持API和分词不变的情况下,将所有语言的编码速度提升了3-30倍,解码速度提升了5.4-8.8倍。速度提升源于三项核心技术:bitcannon(SIMD位流)、word cache(线程本地BPE缓存)和merge loop(零分配合并循环)。在8线程上保持了76%的线性扩展。

Hugging Face 发布了'tokenizers v1',这是一个新的SOTA分词库,在保持API和分词不变的情况下,将所有语言的编码速度提升了3-30倍,解码速度提升了5.4-8.8倍。速度提升源于三项核心技术:bitcannon(SIMD位流)、word cache(线程本地BPE缓存)和merge loop(零分配合并循环)。在8线程上保持了76%的线性扩展。