XNews

Kimi K2.5の技術詳細とアーキテクチャ革新

Kimi K2.5の技術詳細とアーキテクチャ革新

GTC 2026の講演で、Moonshot AIの創業者であるYang Zhilin氏は、Kimi K2.5がAdam最適化器、フルアテンション、残差接続を新たなコンポーネントに置き換えた方法を詳述した。これらの進歩は、2026年7月にリリースされたオープンソースのKimi K3モデルに統合された。

Key insights

Adam、アテンション、残差の再設計により追加データなしで効果を達成

Moonshot AIのアプローチは、進歩には主にデータや計算量の増加が必要とする前提に挑戦する。Transformerの基本コンポーネントを再設計することで、最適化器の効率(データ2倍に相当)、長文脈向けの線形アテンション、深い情報伝達を可能にするアテンション残差といった複合的な利点を達成した。これらはすべてオープンソースであり、個別に採用可能である。

Kimi Linearのマルチ減衰メカニズムが長文脈効率の新基準を確立する可能性

単一のグローバル減衰を持つ従来の線形アテンションとは異なり、KDAはチャネルごとの減衰率を使用し、モデルが長期情報を保持しつつ、無関係な詳細を迅速に忘却することを可能にする。フルアテンションとの3:1ハイブリッドは、効率的なアーキテクチャがテストされたすべての文脈長でフルアテンションを上回り、100万トークンの文脈を実用的にできることを示している。

エージェントスウォーム学習による並列協調の実現と複雑タスクの高速化

サブタスクの並列化を促進し、完了を検証することで、Moonshot AIはCEOのように複数のエージェントを調整するモデルを訓練した。実際には、このアプローチは研究、コード生成、データ分析における全体的なタスク時間を短縮する。K3で300エージェントにスケールすることで、この能力は大規模な自律ワークフローに拡張される。

初期融合マルチモーダル学習がクロスモーダル知識伝達を実証

最初から視覚データとテキストデータを混合した結果、驚くべき結果が得られた。視覚性能の向上がテキスト推論も強化し、強力なテキストベースがあれば専用の視覚SFTデータが不要になった。これは、共有潜在空間によりひとつのモダリティで学習された能力が別のモダリティにも利益をもたらすという仮説を支持し、大規模なペアデータセットの必要性を低減する可能性がある。

アテンション残差が従来の残差の逐次情報フローを打破

各層がブロック内のすべての前層にアテンションを払い、保持する情報を選択できるようにすることで、アーキテクチャは24%のトークン効率向上を達成した。これはIlya Sutskeverの「残差は回転LSTM」というアナロジーを再考し、固定スキップ接続を学習可能なアテンションベースのゲーティング機構に置き換えるものだ。この採用は将来の深層ネットワーク設計に影響を与える可能性がある。

Source posts