XNews

Hugging Faceのtokenizers v1、SIMDとキャッシュによりトークン化を3~30倍高速化

Hugging Faceのtokenizers v1、SIMDとキャッシュによりトークン化を3~30倍高速化

Hugging Faceは、新しいSOTA(最先端)トークン化ライブラリであるtokenizers v1をリリースしました。このライブラリは、トークンIDやAPIを変更することなく、すべての言語においてエンコードを3~30倍、デコードを5.4~8.8倍高速化します。高速化は、bitcannon(SIMDベースの事前トークン化)、word cache(BPE結果のキャッシュ)、およびゼロ割り当て・分岐なしマージループの3つの中核技術によるものです。また、クレート分割によりパッケージサイズとメモリ使用量の削減も実現しています。

Source posts