Hugging Face tokenizers v1: SIMDとキャッシュによりエンコーディングが3~30倍高速化

Hugging Faceは、新しいSOTAトークナイゼーションライブラリであるtokenizers v1をリリースしました。このライブラリは、全言語においてエンコーディングを3~30倍、デコーディングを5.4~8.8倍高速化します。3つの主要技術(プリトークナイゼーションのためのSIMDビットストリームであるbitcannon、BPE結果をキャッシュするword cache、ゼロアロケーションかつ分岐なしのmerge loop)を採用しています。