Hugging Face tokenizers v1、SIMDとキャッシュにより最大30倍の速度向上

Hugging Faceは、最先端のトークン化ライブラリtokenizers v1をリリースしました。このライブラリは、APIの変更なしに全言語においてエンコードを3~30倍、デコードを5.4~8.8倍高速化します。正規表現の代わりにビットカノン(SIMDビットストリーム)、BPE用のワードキャッシュ、ゼロアロケーションのマージループを採用しています。

Hugging Faceは、最先端のトークン化ライブラリtokenizers v1をリリースしました。このライブラリは、APIの変更なしに全言語においてエンコードを3~30倍、デコードを5.4~8.8倍高速化します。正規表現の代わりにビットカノン(SIMDビットストリーム)、BPE用のワードキャッシュ、ゼロアロケーションのマージループを採用しています。