XNews

Hugging Faceがtokenizers v1をリリース、エンコーディングが3〜30倍高速化

Hugging Faceがtokenizers v1をリリース、エンコーディングが3〜30倍高速化

Hugging Faceはtokenizers v1をリリースし、トークンIDとAPIを変更せずに、さまざまな言語でエンコーディングを3〜30倍、デコーディングを5.4〜8.8倍高速化しました。8スレッドで76%の線形スケーリングを維持し、クレート分割によりサイズとメモリを削減します。この改善は、SIMD事前トークナイゼーション、単語キャッシュ、ゼロ割り当てマージループによるものです。

Source posts