Hugging Face 发布 tokenizers v1:借助 SIMD 实现编码速度提升 3-30 倍

Hugging Face 发布了 tokenizers v1,这是一款新的 SOTA 分词库,能够将所有语言的编码速度提升 3-30 倍,解码速度提升 5.4-8.8 倍。该库采用了 bitcannon(SIMD 位流)、单词缓存和零分配合并循环,同时保持了相同的 API 和令牌 ID。

Hugging Face 发布了 tokenizers v1,这是一款新的 SOTA 分词库,能够将所有语言的编码速度提升 3-30 倍,解码速度提升 5.4-8.8 倍。该库采用了 bitcannon(SIMD 位流)、单词缓存和零分配合并循环,同时保持了相同的 API 和令牌 ID。