XNews

Hugging Face tokenizers v1 发布,编码速度大幅提升

Hugging Face tokenizers v1 发布,编码速度大幅提升

Hugging Face 发布了 tokenizers v1,这是一个开源库,在无需更改 API 的情况下,将所有语言的编码速度提高了 3 到 30 倍,解码速度提高了 5.4 到 8.8 倍。它采用了 SIMD 位流预分词、线程局部单词缓存和零分配合并循环。

Key insights

跨语言性能提升,无需更改 API

Tokenizers v1 将所有语言的编码速度提高了 3 到 30 倍,解码速度提高了 5.4 到 8.8 倍,同时保持了 token ID 和 API 的完全向后兼容性。这些改进是通过硬件感知优化实现的,而非对四阶段流水线进行算法更改。

bitcannon:SIMD 位流取代正则表达式引擎

bitcannon 技术将输入字节视为通过 SIMD 寄存器并行处理的位流,每次操作处理 64 字节。它涵盖了五种分割模式(GPT-2、cl100k、o200k、Tekken、DeepSeek),并在未知模式时回退到正则表达式,这解释了不同分词器系列之间速度差异的原因。

单词缓存消除了冗余的 BPE 合并

线程局部缓存将预分词字节映射到 token ID,利用了 BPE 的确定性特性。重复的单词完全跳过合并计算。该缓存对于许多请求共享公共前缀的代理场景尤其有效,提高了命中率。

合并循环实现零分配和无分支执行

合并循环使用了四种技术:调用方提供的临时缓冲区、链表式扁平数组、批量模型调用,以及将候选对及其优先级打包到 64 位整数中以进行无分支比较。这消除了堆分配,减少了内存开销,并避免了分支预测失败。

组合优化针对三个成本层

每项技术针对不同的成本层:bitcannon 消除了控制流(正则表达式回溯),单词缓存消除了冗余计算,合并循环消除了分配和分支预测失败。综合效果带来了所报告的 3 到 30 倍的加速;没有单一技术能单独实现这一效果。

Source posts