XNews

Hugging Face、SIMDとキャッシングにより3~30倍の高速化を実現したTokenizers v1をリリース

Hugging Face、SIMDとキャッシングにより3~30倍の高速化を実現したTokenizers v1をリリース

Hugging Faceは、bitcannon SIMD、ワードキャッシュ、ゼロアロケーションのマージループにより、エンコード速度を3~30倍に高速化したTokenizers v1をリリースしました。既存のトークンIDやAPIとの完全な互換性を維持しています。

Source posts