Hugging Face Tokenizers v1:SIMDとキャッシュにより3~30倍の高速化を実現

Hugging Faceはtokenizers v1をリリースし、3つの主要技術——プリトークン化におけるbitcannon SIMD、BPEにおけるワードキャッシュ、ゼロアロケーションのマージループ——を用いて、エンコード速度で3~30倍、デコード速度で5.4~8.8倍の高速化を達成しました。このライブラリは完全なAPI互換性を維持し、8スレッドで線形にスケールします。

Hugging Faceはtokenizers v1をリリースし、3つの主要技術——プリトークン化におけるbitcannon SIMD、BPEにおけるワードキャッシュ、ゼロアロケーションのマージループ——を用いて、エンコード速度で3~30倍、デコード速度で5.4~8.8倍の高速化を達成しました。このライブラリは完全なAPI互換性を維持し、8スレッドで線形にスケールします。