Hugging Face tokenizers v1:借助SIMD和缓存实现3-30倍编码加速

Hugging Face发布了tokenizers v1,这是一个全新的最先进分词器库,在不改变API的情况下实现了3-30倍的编码加速和5.4-8.8倍的解码加速。其核心技术包括:bitcannon(用于预分词的SIMD位流)、单词缓存(用于BPE确定性输出的线程本地缓存)以及合并循环(零分配、无分支合并)。

Hugging Face发布了tokenizers v1,这是一个全新的最先进分词器库,在不改变API的情况下实现了3-30倍的编码加速和5.4-8.8倍的解码加速。其核心技术包括:bitcannon(用于预分词的SIMD位流)、单词缓存(用于BPE确定性输出的线程本地缓存)以及合并循环(零分配、无分支合并)。