Hugging Face Tokenizers v1: SIMDによる3~30倍の高速化

Hugging Faceはtokenizers v1をリリースし、APIの変更なしにエンコードを3~30倍、デコードを5.4~8.8倍高速化しました。この改善は、3つの中核技術によって実現されています。bitcannon SIMDベースの分割、決定論的なBPE結果のためのワードキャッシュ、およびゼロアロケーションのマージループです。このライブラリは、8スレッドで76%の線形スケーリングを維持しています。

Hugging Faceはtokenizers v1をリリースし、APIの変更なしにエンコードを3~30倍、デコードを5.4~8.8倍高速化しました。この改善は、3つの中核技術によって実現されています。bitcannon SIMDベースの分割、決定論的なBPE結果のためのワードキャッシュ、およびゼロアロケーションのマージループです。このライブラリは、8スレッドで76%の線形スケーリングを維持しています。