Hugging Face 发布 tokenizers v1,速度提升 3-30 倍

Hugging Face 的 tokenizers v1 通过三项核心技术:bitcannon SIMD 位流、单词缓存和零分配合并循环,实现了 3-30 倍的编码加速和 5.4-8.8 倍的解码加速。该版本保持了 API 兼容性,并减小了包体大小。

Hugging Face 的 tokenizers v1 通过三项核心技术:bitcannon SIMD 位流、单词缓存和零分配合并循环,实现了 3-30 倍的编码加速和 5.4-8.8 倍的解码加速。该版本保持了 API 兼容性,并减小了包体大小。