Hugging Face tokenizers v1: SIMDによりエンコード速度が3~30倍に高速化

Hugging Faceは、新しいSOTAトークナイゼーションライブラリtokenizers v1をリリースしました。このライブラリは、全言語においてエンコード速度を3~30倍、デコード速度を5.4~8.8倍に高速化します。bitcannon(SIMDビットストリーム)、ワードキャッシュ、ゼロアロケーションのマージループを採用し、APIとトークンIDは従来と同じままです。

Hugging Faceは、新しいSOTAトークナイゼーションライブラリtokenizers v1をリリースしました。このライブラリは、全言語においてエンコード速度を3~30倍、デコード速度を5.4~8.8倍に高速化します。bitcannon(SIMDビットストリーム)、ワードキャッシュ、ゼロアロケーションのマージループを採用し、APIとトークンIDは従来と同じままです。