オープンソースおよび専門モデル(MiMo、BU-30B、MiMo-V2-Flash)

複数のベンダーが長いコンテキストとブラウザ自動化のためのオープンおよび専門モデルを発表または詳細化しました。
Key insights
Xiaomiが生産効率に焦点を当てたMiMo-V2-Flashを発表
Xiaomiは、309Bパラメータモデルを持つMiMo-V2-Flashをリリースし、トークンごとに約15Bを活性化し、32Kでのネイティブトレーニングを行い、256Kコンテキストに拡張しました。推論速度は150トークン/秒と主張され、非常に低いコスト(入力トークン1Mあたり$0.10、出力トークン1Mあたり$0.30)が引用されています。Xiaomiはまた、モデルのコード能力を示すデモチャットウェブ製品を公開しました。
BU-30B-A3B-PreviewがMoE効率でブラウザ自動化を目指す
browser_useは、ブラウザ自動化とDOM理解に特化した30BパラメータのMoEベースモデルBU-30B-A3B-Previewを発表しました。このモデルは視覚言語入力をサポートし、32kトークンのコンテキストを持ち、実行時に約3Bのパラメータを活性化して能力とリソースコストのバランスを取ります。このモデルはウェブエージェント、RPA、および正確なウェブページ要素の推論を必要とするタスクに向けて提案されています。
Hybrid SWA、MTP、MOPDのエンジニアリング選択がデプロイメントの実用性を強調
Xiaomiと貢献者からの技術ノートは、デプロイメントの親しみやすさのためのハイブリッドSWAアテンション、固定KVキャッシュ、RL効率のためのマルチトークン予測(MTP)レイヤー、低計算でRL教師の行動を模倣するためのMOPDオンポリシー蒸留を強調しています。これらの選択は、生産デプロイメント、長いコンテキストの処理、低コストのRL蒸留を優先しています。