XNews

Hugging Face tokenizers v1 借助 SIMD 与缓存技术将速度提升高达 30 倍

Hugging Face tokenizers v1 借助 SIMD 与缓存技术将速度提升高达 30 倍

Hugging Face 发布了 tokenizers v1,这是一款最先进的 tokenization 库,在不改变 API 的情况下,将各语言的编码速度提升了 3 至 30 倍,解码速度提升了 5.4 至 8.8 倍。该库采用 bitcannon(SIMD 位流)替代正则表达式,使用词缓存进行 BPE,并实现了零分配合并循环。

Source posts