XNews

Hugging Face Tokenizers v1:使用SIMD实现3-30倍加速

Hugging Face Tokenizers v1:使用SIMD实现3-30倍加速

Hugging Face发布了tokenizers v1,在不改变API的情况下,实现了编码速度提升3-30倍,解码速度提升5.4-8.8倍。三大核心技术驱动了这一改进:基于SIMD的bitcannon分割、用于确定性BPE结果的词缓存,以及零分配合并循环。该库在八个线程上保持了76%的线性扩展。

Source posts