Hugging Face tokenizers v1、SIMDとキャッシングによりエンコード時間を3~30倍短縮

Hugging Faceは、新しいトークン化ライブラリ「tokenizers v1」をリリースした。このライブラリは、トークンIDやAPIを変更することなく、全言語においてエンコードを3~30倍、デコードを5.4~8.8倍高速化する。主な最適化は3つで、SIMDベースの正規表現置換(bitcannon)、決定論的BPEマージのためのワードキャッシュ、およびゼロアロケーションのマージループである。