XNews

Hugging Face tokenizers v1 借助 SIMD 与缓存实现 3-30 倍加速

Hugging Face tokenizers v1 借助 SIMD 与缓存实现 3-30 倍加速

Hugging Face 发布了 tokenizers v1,这是一个新的 SOTA 分词库,通过使用 bitcannon SIMD 进行预分词、BPE 词缓存以及零分配合并循环,在所有语言上将编码速度提升了 3-30 倍,解码速度提升了 5.4-8.8 倍。它保持了 API 兼容性。

Source posts