Hugging Face tokenizers v1:通过SIMD和缓存实现编码速度提升3-30倍

Hugging Face发布了tokenizers v1,这是一个新的SOTA分词库,通过三项核心技术实现了所有语言的编码速度提升3-30倍、解码速度提升5.4-8.8倍:基于bitcannon SIMD的预分词替代正则表达式、用于确定性BPE结果的单词缓存、以及零分配合并循环。API和令牌ID保持不变。

Hugging Face发布了tokenizers v1,这是一个新的SOTA分词库,通过三项核心技术实现了所有语言的编码速度提升3-30倍、解码速度提升5.4-8.8倍:基于bitcannon SIMD的预分词替代正则表达式、用于确定性BPE结果的单词缓存、以及零分配合并循环。API和令牌ID保持不变。