XNews

Hugging Face、Tokenizers v1をリリース - 3~30倍の高速化を実現

Hugging Face、Tokenizers v1をリリース - 3~30倍の高速化を実現

Hugging Faceはtokenizers v1をリリースし、SIMDビットストリーム、ワードキャッシング、ゼロアロケーションマージループにより、エンコードで3~30倍、デコードで5.4~8.8倍の高速化を達成。完全なAPI互換性を備えている。

Source posts