XNews

Hugging Face 发布 tokenizers v1,集成 SIMD、缓存与合并循环优化

Hugging Face 发布 tokenizers v1,集成 SIMD、缓存与合并循环优化

Hugging Face 的 tokenizers v1 在无需更改 API 的情况下,实现了所有语言的编码速度提升 3-30 倍,解码速度提升 5.4-8.8 倍。三项关键优化:基于 bitcannon SIMD 的预分词取代正则表达式、用于确定性 BPE 结果的单词缓存,以及零分配与无分支操作的合并循环。这些优化共同带来了速度提升。

Source posts