XNews

Hugging Face tokenizers v1 通过 SIMD 和缓存实现 3-30 倍加速

Hugging Face tokenizers v1 通过 SIMD 和缓存实现 3-30 倍加速

Hugging Face 发布了 tokenizers v1,将编码速度提升 3-30 倍,解码速度提升 5.4-8.8 倍,同时保持 token ID 和 API 不变。三大核心技术驱动了这些提升:bitcannon(用 SIMD 位流替代正则表达式)、word cache(缓存确定性 BPE 结果)和 merge loop(零分配无分支操作)。

Source posts