Hugging Faceのトークナイザーv1、SIMDとキャッシングにより3~30倍の高速化を実現

Hugging Faceはトークナイザーv1をリリース。トークンIDやAPIを変更することなく、言語を問わずエンコードで3~30倍、デコードで5.4~8.8倍の速度向上を達成した。主要な技術的革新には、bitcannon(プリトークン化のためのSIMDビットストリーム)、ワードキャッシュ(繰り返し出現するトークンに対するBPE結果の再利用)、およびゼロ割り当て・分岐なしのマージループが含まれる。

Hugging Faceはトークナイザーv1をリリース。トークンIDやAPIを変更することなく、言語を問わずエンコードで3~30倍、デコードで5.4~8.8倍の速度向上を達成した。主要な技術的革新には、bitcannon(プリトークン化のためのSIMDビットストリーム)、ワードキャッシュ(繰り返し出現するトークンに対するBPE結果の再利用)、およびゼロ割り当て・分岐なしのマージループが含まれる。