Hugging Face 发布 tokenizers v1,速度大幅提升

Hugging Face 发布了 tokenizers v1,这是一个新的分词库,保持 token ID 和 API 不变。通过三项核心技术:基于 bitcannon SIMD 的预分词、针对重复输入的词缓存以及零分配合并循环,它在多种语言上实现了编码速度提升 3-30 倍、解码速度提升 5.4-8.8 倍。
Key insights
Bitcannon:SIMD 取代正则表达式引擎
预分词正则表达式是一个固定的模型参数,因此 tokenizers v1 采用 bitcannon,它将输入字节视为并行位流,每个 SIMD 寄存器操作处理 64 字节。这涵盖了 GPT-2、cl100k、o200k、Tekken 和 DeepSeek 的分词模式,对于无法识别的模式会自动回退到正则表达式,从而解释了不同模型家族之间速度提升的差异。
词缓存利用 BPE 确定性
BPE 对相同的预分词产生确定性的结果,因此 tokenizers v1 使用线程本地缓存,将预分词字节映射到 token ID。重复的单词完全跳过合并计算。这对于许多请求共享公共前缀的代理场景特别有效,从而获得高缓存命中率。
合并循环实现零分配和无分支操作
合并循环结合了四种技术:复用调用方提供的临时缓冲区以消除堆分配,将符号存储在扁平的位置链接数组中而非链表中,在一次模型调用中批量处理多个预分词,以及将每个候选对及其合并优先级打包成一个 64 位整数以实现无分支比较。
背景:四阶段分词流水线保持不变
tokenizers v1 没有改变分词算法框架,保留了四阶段流水线:规范化、预分词、模型层(BPE 与最高优先级对合并,且从不跨越预分词边界)以及带有特殊标记的后处理。