Hugging Face tokenizers v1 借助 SIMD 与缓存实现 3-30 倍加速

Hugging Face 的 tokenizers v1 是一个新的 SOTA(最先进)分词库,在所有语言上将编码速度提升 3-30 倍,解码速度提升 5.4-8.8 倍,同时保持 token ID 和 API 不变。它采用了三项核心技术:用于预分词的 bitcannon SIMD 位流、用于确定性 BPE 结果的单词缓存,以及零分配、无分支的合并循环。

Hugging Face 的 tokenizers v1 是一个新的 SOTA(最先进)分词库,在所有语言上将编码速度提升 3-30 倍,解码速度提升 5.4-8.8 倍,同时保持 token ID 和 API 不变。它采用了三项核心技术:用于预分词的 bitcannon SIMD 位流、用于确定性 BPE 结果的单词缓存,以及零分配、无分支的合并循环。