Hugging Face tokenizers v1:SIMDとキャッシュでエンコードが3〜30倍高速に

Hugging Faceは、新しいSOTAトークン化ライブラリであるtokenizers v1をリリースした。3つの主要技術により、全言語でエンコード速度が3〜30倍、デコード速度が5.4〜8.8倍向上する。その技術とは、正規表現を置き換えるbitcannon SIMDベースの事前トークン化、決定論的BPE結果のためのワードキャッシュ、そしてゼロ割り当てマージループである。APIとトークンIDは変更されない。