XNews

MiMo V2.6とTokenizerの革新:XiaomiとHugging Faceによる効率的なAIモデル

MiMo V2.6とTokenizerの革新:XiaomiとHugging Faceによる効率的なAIモデル

Hugging Faceは、新しいSOTAトークン化ライブラリ「tokenizers v1」をリリース。SIMDビットストリームとワードキャッシングにより、エンコード速度を3~30倍、デコード速度を5.4~8.8倍高速化する。Xiaomiは、マルチモーダルモデル「MiMo-V2.6 Pro」および「Flash」をオープンソース化。Artificial Analysisでスコア46を記録し、xAI Grok 4.7に匹敵。API料金はProが100万トークンあたり0.435ドル/0.87ドル。

Key insights

Tokenizers v1: SIMDとキャッシングによる大幅な速度向上

Hugging Faceのtokenizers v1は、3つの主要技術(正規表現を置き換えるSIMDビットストリーム「bitcannon」、繰り返し出現する事前トークンのBPE結果をキャッシュする「word cache」、ゼロ割り当て・分岐なしのマージ「merge loop」)により、エンコードを3~30倍、デコードを5.4~8.8倍高速化。GPT-2、cl100k、o200k、Tekken、DeepSeekの分割モードに対応し、未知のパターンには正規表現にフォールバックする。

MiMo-V2.6: RLトレーニングを施したオープンソースのマルチモーダルモデル

Xiaomiは、ネイティブマルチモーダルモデル「MiMo-V2.6 Pro」および「Flash」をリリース。Artificial Analysisでスコア46を記録し、xAI Grok 4.7と同等。Proはオープンソースモデルとして最大規模のRLトレーニング(30ステップ、75万トラジェクトリ、コスト262万ドル)を実施。MixRL戦略はコーディング、ビジョン、サイバーセキュリティタスクを混合。API料金はProが100万トークンあたり0.435ドル/0.87ドル、Flashが0.14ドル/0.28ドル。

MiMo-V2.6オープンソースエコシステム

Xiaomiは、完全なRLトレーニングフレームワーク、7000以上のRLタスク環境、および蒸留済みQwen-9Bモデルをオープンソース化。両モデルはMITライセンスの下で、100万トークンのコンテキストとテキスト、画像、音声、動画の入力に対応。FlashはエージェントベンチマークでProに数ポイント差に迫り、コードレビューや文書処理などのバッチタスクにおいて優れたコスト効率を提供する。

Source posts