Kimiムーンショット:スケーリングの進展とKimi K3のリリース

KimiムーンショットはKimi K3を発表し、K2.5からK3への技術的進展を詳述しました。 - Kimi K3を発表:2.8兆パラメータ、1Mネイティブコンテキスト、マルチモーダル。 - Kimiデルタアテンションにより、百万トークンのコンテキストで最大6.3倍のデコーディング速度を実現。 - アテンション残差は、<2%のコストで約24〜25%高いトークントレーニング効率をもたらします。 - Kimi K2.5は、トークン利用率を向上させるためにAdamをMuonClipに置き換えました。 - MuonClip(Muonに基づく)は、同じデータでのデータ効率をほぼ倍増させました。 - QK-Clipはアテンションロジットのスパイクを防ぎ(>1000を観測)、兆スケールでMuonを可能にします。 - Kimiリニア(KDA)は、百万以上のトークンにスケールするために、フルアテンションと3:1で混合する線形アテンションです。 - KDAは、異なる速度で情報を保持/忘却するために複数の減衰チャネルを使用します。 - エージェントスウォームオーケストレーションは、K2.5で最大100エージェント、K2.6で300エージェント、1500ステップのタスクをサポートします。 - 早期融合マルチモーダルトレーニング(視覚+テキストの混合)は、テキストの推論を改善し、ゼロビジョンSFTを可能にしました。 - アテンション残差(ブロックバージョン)は、レイヤーがアテンションを介して以前のレイヤーの出力に注意を向けることを可能にし、ブロック内の残差を置き換えます。 - MoonshotはMuonClip、Kimiリニア、アテンション残差をオープンソース化し、K3の重みは2026年7月27日までに公開予定です。
Key insights
Kimi K3の発表と機能
Kimiムーンショットは、2.8兆パラメータ、ネイティブ1百万トークンコンテキストウィンドウ、ネイティブマルチモーダルサポートを備えたオープンフロンティアインテリジェンスモデルとしてKimi K3を発表しました。公式リリースでは、Kimiデルタアテンションが百万トークンのコンテキストでデコーディングを最大6.3倍加速し、アテンション残差がトークントレーニング効率を約24〜25%向上させる一方で、2%未満の計算コストを追加することを強調しています。K3は、長期的なエージェントコーディングと自己進化するワークフローを目指しており、重みは2026年7月27日までに公開される予定です。
MuonClipとQK-Clipによるデータ効率と安定性の向上
ムーンショットは、トークン利用率を向上させるためにAdamをMuonClip(Muonから派生)に置き換えました。実験では、同じデータでトレーニングを行った場合、高品質トークン数をほぼ倍増させるのと同様の利得が見られました。Muonは15兆トークン以上のトレーニングを可能にしましたが、アテンションロジットの不安定性(最大ロジットが1000を超えるスパイク)を引き起こしました。ムーンショットは、QK-Clipを導入し、QおよびKの投影を監視し、同期的にスケールさせることで、損失スパイクを防ぎ、安定した兆パラメータトレーニングを可能にしました。
百万トークンコンテキスト向けのKimiリニア(KDA)
KimiリニアはKimiデルタアテンション(KDA)を使用しており、これはメモリの減衰を複数のチャネルに分解する線形アテンションメカニズムです。異なる情報が異なる速度で減衰するように設計されています。このアーキテクチャは、線形アテンションとフルアテンションを3:1の比率で混合し、長い入力および出力タスクを対象としています。ムーンショットは、KDAが短いコンテキストおよび長いコンテキストタスク全体でフルアテンションを上回り、百万以上のトークン入力に効率的にスケールし、計算コストを大幅に削減することを報告しました。
エージェントスウォーム:並列マルチエージェントオーケストレーション
ムーンショットはエージェントスウォームを説明しました。これは、リードエージェント(CEO)が目標を分解し、数百の専門的なサブエージェントに派遣する階層型エージェントチームです。報酬設計には、インスタンス化、完了、最終結果の報酬が含まれ、トレーニング中に動的に再重み付けされます。K2.5は最大100の並列エージェント(1500ステップのタスク)をサポートし、K2.6では並列制限が300エージェントに引き上げられました。デモには、並列研究、大規模な文献レビュー、複数章のドラフト作成、同時データセット分析が含まれます。
早期融合マルチモーダルトレーニングによるクロスモーダルトランスファーの向上
ムーンショットは、遅延融合から早期融合トレーニングに移行しました。K2.5は、視覚SFTを後から追加するのではなく、最初から約15兆の混合視覚+テキストトークンをトレーニングしました。視覚のみのトレーニングがテキストの推論を改善することが観察されました。強力なテキストベースモデルにより、'ゼロ視覚SFT'(教師ありファインチューニング)が可能になり、その後のマルチモーダルRLトレーニングでほぼ最先端の視覚性能に達しました。早期融合は、'見てコーディングする'などのタスクに使用されるクロスモーダルトランスファーを可能にしました。
アテンション残差がブロック残差を置き換えて効率を向上
ムーンショットはアテンション残差(ブロックアテンション残差)を導入し、各ブロックが多くの前のブロックの出力に注意を向け、どの歴史的信号を保持するかを選択できるようにしました。彼らはレイヤーをブロック(例:16層ブロック)にグループ化し、ブロック間でアテンションを使用します。実験では、約24%のトークン効率の改善と、GPQA、MATH、HumanEvalでの顕著な成果が報告されました。チームは、アテンション残差をバニラ残差接続の代替として位置付け、深層ネットワークをより選択的にすることを目指しています。