Kimi K2.5およびK3:革新とベンチマーク

Moonshot AIは2026年7月16日、2.8兆パラメータ、100万トークンのコンテキスト、ネイティブマルチモーダル、Kimi Delta Attention(デコード速度最大6.3倍)、およびAttention Residuals(トレーニング効率約25%向上、コスト2%未満)を備えたKimi K3を公開した。オープンウェイトは7月27日までに提供予定。DeepSWEベンチマークでは、K3 maxとGPT-5.6 Sol maxは補完的な強みを示した:pass@1は68.5%対72.7%だが、pass@4は89.4%対85.8%。K3のコストは約4.65ドル/ロールアウト、Solは8.37ドルで、100ドルあたりの解決タスク数は14.7対5.3。K3はRustと運用ツールに優れ、SolはPython/TS/JSとシリアライゼーションに優れた。カスケード戦略(Kimiを先に、次にSol)は、タスクあたり7.30ドルで85.6%の解決率を達成。以前、創業者Yang ZhilinがK2.5の革新について詳細を説明した:Adamを置き換えるMuonClip最適化器、線形注意と完全注意を3:1で混合するKimi Linear、最大300の並列エージェントを可能にするAgent Swarm、初期融合マルチモーダルトレーニング、および残差接続を置き換えるAttention Residue。SemiAnalysisは、K3がNVIDIA Nemotron 3 Ultraを大幅に上回り、オープンソースの競争が進歩を促進すると指摘した。
Key insights
Kimi K3、オープンウェイトとコスト効率でフロンティアレベルの性能を実現
K3の2.8兆パラメータ、100万トークンのコンテキスト、ネイティブマルチモーダルは、7月27日までにオープンウェイトと組み合わせられる。DeepSWEでは、pass@1でGPT-5.6 Solに劣るものの、pass@2とpass@4で上回り、ロールアウトあたりのコストはほぼ半分で、1ドルあたりの解決タスク数は約3倍である。
K3とGPT-5.6 Solは補完的な強みを持ち、効果的なモデルルーティングを可能に
K3はRustと運用ツールに強く、SolはPython/TS/JSとシリアライゼーションに優れる。タスクレベルの相関は約0.46で、2モデルの和集合は95.6%のタスクをカバーする。Kimiを先に、次にSolを実行するカスケードは、単独のいずれよりも低コストで高いカバレッジを達成する。
K2.5、Adam、完全注意、残差接続の基盤的置き換えを導入
MuonClip最適化器はトークン効率をほぼ2倍に向上。Kimi Linearは線形注意と完全注意を3:1で混合し、短いコンテキストと長いコンテキストの両方で完全注意を上回る。Attention Residueは残差接続を前の層への注意に置き換え、約24%のトークン効率向上をもたらす。これらはすべてオープンソース化されている。
Agent Swarm、複雑なタスクのための並列マルチエージェント協調を実現
K2.5のAgent Swarmは、CEOエージェントが最大300のサブエージェント(研究者、コーダー、アナリスト、ファクトチェッカー)に委任し、直列ワークフローを並列実行に変換する。トレーニングでは、インスタンシエーション、完了、最終結果の3つの動的報酬を使用する。これによりタスク完了時間が大幅に短縮される。
初期融合マルチモーダルトレーニング、視覚学習をテキスト推論に転移
K2.5は最初から視覚データとテキストデータを混合する。視覚タスクのみのトレーニングでテキスト推論が向上。強力なテキストベースにより、視覚のSFTはゼロで、RLから視覚が出現した。この双方向転移は、共有表現が両モダリティに利益をもたらすことを示唆する。
中国からのオープンソース競争が一部の米国の取り組みを上回る
SemiAnalysisは、K3がNVIDIAのNemotron 3 Ultraを大幅に上回ったと述べ、米国のリーダーシップには統合ではなく独立した研究室間の競争が必要だと主張した。中国のAIラボの迅速な反復が進歩のモデルとして強調された。