XNews

Hugging Face 发布 Tokenizers v1,通过 SIMD 和缓存实现 3-30 倍加速

Hugging Face 发布 Tokenizers v1,通过 SIMD 和缓存实现 3-30 倍加速

Hugging Face 发布了 tokenizers v1,通过 bitcannon SIMD、单词缓存和零分配合并循环实现了 3-30 倍的编码加速。它保持与现有令牌 ID 和 API 的完全兼容性。

Source posts