Hugging Face tokenizers v1: SIMDとキャッシュによる3~30倍のエンコード高速化

Hugging Faceは、新しいSOTAトークン化ライブラリであるtokenizers v1をリリースしました。このライブラリは、APIを変更することなく、すべての言語でエンコードを3~30倍、デコードを5.4~8.8倍高速化します。3つの中核的な最適化手法が使用されています。bitcannon(プリトークン化のためのSIMDビットストリーム)、word cache(決定論的BPE結果のためのスレッドローカルキャッシュ)、merge loop(ゼロアロケーション、分岐なしマージ)です。これらの組み合わせにより、劇的な高速化が実現され、個々の手法は制御フロー、冗長計算、メモリアロケーションに対処しています。