XNews

Hugging Face Tokenizers v1:借助SIMD和缓存实现3-30倍加速

Hugging Face Tokenizers v1:借助SIMD和缓存实现3-30倍加速

Hugging Face发布了tokenizers v1,通过三项核心技术:用于预分词处理的bitcannon SIMD、用于BPE的词缓存以及零分配合并循环,实现了3-30倍的编码加速和5.4-8.8倍的解码加速。该库保持完整的API兼容性,并在8线程下实现线性扩展。

Source posts