XNews

Hugging Face 发布 Tokenizers v1,速度提升 3-30 倍

Hugging Face 发布 Tokenizers v1,速度提升 3-30 倍

Hugging Face 发布了 tokenizers v1,通过 SIMD 位流、单词缓存和零分配合并循环,实现了 3-30 倍的编码速度和 5.4-8.8 倍解码速度的提升,并且完全兼容 API。

Source posts