Hugging Face、トークナイザーv1をリリース - 3~30倍の高速化を実現

Hugging Faceのトークナイザーv1は、3つのコア技術(bitcannon SIMDビットストリーム、ワードキャッシュ、ゼロアロケーション・マージループ)を用いて、エンコードで3~30倍、デコードで5.4~8.8倍の高速化を達成しました。API互換性を維持しつつ、パッケージサイズも削減されています。

Hugging Faceのトークナイザーv1は、3つのコア技術(bitcannon SIMDビットストリーム、ワードキャッシュ、ゼロアロケーション・マージループ)を用いて、エンコードで3~30倍、デコードで5.4~8.8倍の高速化を達成しました。API互換性を維持しつつ、パッケージサイズも削減されています。