Hugging Face、新たなSOTAトークナイザー「tokenizers v1」をリリース

Hugging Faceは、新しいSOTAトークン化ライブラリ「tokenizers v1」をリリースしました。このライブラリは、全言語においてエンコード速度を3~30倍、デコード速度を5.4~8.8倍に高速化し、APIとトークンは変更されていません。高速化は、bitcannon(SIMDビットストリーム)、word cache(スレッドローカルBPEキャッシュ)、merge loop(ゼロアロケーション)の3つの中核技術によるものです。また、8スレッドで76%の線形スケーリングを維持します。