Hugging Face tokenizers v1 借助 SIMD 与缓存实现 3-30 倍加速

Hugging Face 发布了 tokenizers v1,在不改变 token ID 或 API 的情况下,跨语言实现了 3-30 倍的编码速度和 5.4-8.8 倍的解码速度提升。关键技术创新包括 bitcannon(用于预分词 SIMD 位流)、word cache(对重复 token 复用 BPE 结果)以及零分配、无分支的合并循环。

Hugging Face 发布了 tokenizers v1,在不改变 token ID 或 API 的情况下,跨语言实现了 3-30 倍的编码速度和 5.4-8.8 倍的解码速度提升。关键技术创新包括 bitcannon(用于预分词 SIMD 位流)、word cache(对重复 token 复用 BPE 结果)以及零分配、无分支的合并循环。