XNews

Hugging Face tokenizers v1:借助SIMD与缓存技术,编码速度提升3-30倍

Hugging Face tokenizers v1:借助SIMD与缓存技术,编码速度提升3-30倍

Hugging Face发布了tokenizers v1,一款新的分词库,在不改变token ID或API的情况下,使所有语言的编码速度提升3-30倍,解码速度提升5.4-8.8倍。三大关键优化包括基于SIMD的正则表达式替换(bitcannon)、用于确定性BPE合并的词缓存以及零分配合并循环。

Source posts