Hugging Face tokenizers v1、SIMDとキャッシュにより3〜30倍の高速化を実現

Hugging Faceはtokenizers v1をリリースし、トークンIDとAPIを変更せずに、エンコード速度を3〜30倍、デコード速度を5.4〜8.8倍に向上させた。この性能向上を支える3つの中核技術は、bitcannon(正規表現を置き換えるSIMDビットストリーム)、word cache(決定論的BPE結果のキャッシュ化)、merge loop(ゼロアロケーション、分岐なし操作)である。