XNews

Hugging Face tokenizers v1:借助SIMD和缓存,编码速度提升3-30倍

Hugging Face tokenizers v1:借助SIMD和缓存,编码速度提升3-30倍

Hugging Face发布了tokenizers v1,这是一个新的SOTA分词库,在所有语言上将编码速度提升3-30倍,解码速度提升5.4-8.8倍。它采用了三项核心技术:bitcannon(用于预分词的SIMD位流)、word cache(缓存BPE结果)和merge loop(零分配、无分支)。

Source posts