Hugging Faceがトークナイザーv1を公開、大幅な高速化を実現

Hugging Faceは、新しいトークン化ライブラリであるトークナイザーv1を公開した。トークンIDとAPIは変更されていない。このライブラリは、3つのコア技術により、言語を問わずエンコードで3~30倍、デコードで5.4~8.8倍の高速化を実現する。3つの技術とは、ビットキャノンSIMDベースの事前トークン化、繰り返し入力に対するワードキャッシュ、およびゼロ割り当てのマージループである。
Key insights
ビットキャノン:SIMDが正規表現エンジンを置き換え
事前トークン化の正規表現は固定のモデルパラメータであるため、トークナイザーv1はビットキャノンを使用する。ビットキャノンは、入力バイトを並列ビットストリームとして扱い、SIMDレジスタ操作ごとに64バイトを処理する。これにより、GPT-2、cl100k、o200k、Tekken、DeepSeekの分割パターンをカバーし、認識されないパターンに対しては自動的に正規表現にフォールバックする。これがモデルファミリー間で高速化の程度が異なる理由を説明している。
ワードキャッシュがBPEの決定論性を活用
BPEは同一の事前トークンに対して決定論的な結果を生成するため、トークナイザーv1は事前トークンバイトをトークンIDにマッピングするスレッドローカルキャッシュを使用する。繰り返し出現する単語はマージ計算を完全にスキップする。これは特に、多くのリクエストが共通のプレフィックスを共有するエージェントシナリオで効果的であり、高いキャッシュヒット率をもたらす。
マージループがゼロ割り当てと分岐なし操作を実現
マージループは4つの技法を組み合わせている。呼び出し元から提供されるスクラッチバッファを再利用してヒープ割り当てを排除、リンクリストではなくフラットな位置リンク配列にシンボルを格納、複数の事前トークンを1回のモデル呼び出しでバッチ処理、各候補ペアとマージ優先度を1つの64ビット整数にパックして分岐なし比較を可能にする。
背景:4段階のトークン化パイプラインは不変
トークナイザーv1はトークン化アルゴリズムの枠組みを変更せず、4段階のパイプラインを維持している。すなわち、正規化、事前トークン化、モデル層(事前トークン境界を決して越えない最高優先度ペアマージによるBPE)、および特殊トークンによる後処理である。