XNews

Hugging Face tokenizers v1:SIMDとキャッシュによるエンコード速度3〜30倍の高速化

Hugging Face tokenizers v1:SIMDとキャッシュによるエンコード速度3〜30倍の高速化

Hugging Faceは、APIを変更することなく、エンコード速度3〜30倍、デコード速度5.4〜8.8倍の高速化を実現する、新しいSOTAトークナイザライブラリ「tokenizers v1」をリリースしました。中核となる3つの技術は、bitcannon(事前トークナイゼーションのためのSIMDビットストリーム)、word cache(BPEの決定論的な出力のためのスレッドローカルキャッシュ)、merge loop(ゼロアロケーション、分岐なしマージ)です。

Source posts