XNews

Hugging Faceのtokenizers v1、SIMDとキャッシュにより3〜30倍の高速化を達成

Hugging Faceのtokenizers v1、SIMDとキャッシュにより3〜30倍の高速化を達成

Hugging Faceはtokenizers v1をリリースしました。これは、ビットカノンSIMDを使用した事前トークン化、BPE用のワードキャッシュ、ゼロアロケーションのマージループにより、全言語でエンコーディングを3〜30倍、デコーディングを5.4〜8.8倍高速化する新しいSOTAトークン化ライブラリです。API互換性を維持しています。

Source posts