XNews

Hugging Face、SIMD、キャッシュ、マージループ最適化を備えたtokenizers v1をリリース

Hugging Face、SIMD、キャッシュ、マージループ最適化を備えたtokenizers v1をリリース

Hugging Faceのtokenizers v1は、APIの変更なしに全言語でエンコード速度を3~30倍、デコード速度を5.4~8.8倍に向上させました。3つの主要な最適化:正規表現に代わるbitcannon SIMDベースの事前トークン化、決定論的BPE結果のためのワードキャッシュ、ゼロアロケーションと分岐なしのマージループです。これらが組み合わさって高速化を実現しています。

Source posts