XNews

Hugging Face tokenizers v1、SIMDとキャッシングにより3~30倍の高速化を実現

Hugging Face tokenizers v1、SIMDとキャッシングにより3~30倍の高速化を実現

Hugging Faceのtokenizers v1は、新しいSOTAトークン化ライブラリであり、すべての言語でエンコードを3~30倍、デコードを5.4~8.8倍高速化しつつ、トークンIDとAPIは変更されていません。このライブラリは、プリトークン化のためのbitcannon SIMDビットストリーム、決定論的なBPE結果のためのワードキャッシュ、およびゼロアロケーションでブランチレスのマージループという3つの中核技術を採用しています。

Source posts