XNews

Kimi K3 オープンフロンティアインテリジェンス発表

Kimi K3 オープンフロンティアインテリジェンス発表

Moonshot AIは、2.8兆パラメータ、896のエキスパート(うち16が活性化)を備えたMixture-of-Expertsアーキテクチャ、および100万トークンのコンテキスト長を持つオープンフロンティアインテリジェンスモデル「Kimi K3」を発表した。ネイティブにマルチモーダル対応。2つのアーキテクチャ革新が注目される:Kimi Delta Attentionは長いコンテキストで最大6.3倍の高速デコードを実現し、Attention Residualsは追加コスト2%未満で約25%のトレーニング効率向上をもたらす。本モデルは長期的なエージェンティックコーディングと自己進化型ワークフロー向けに設計されている。Kimiプラットフォーム、Kimi Work、Kimi Code、およびKimi APIで利用可能。オープンウェイトは2026年7月27日までに公開予定。技術レポートによると、トレーニングには5122万のサンドボックスが使用され、アーキテクチャ変更により全体の計算効率が2.5倍向上した。

Key insights

Kimi K3の規模と効率革新が競争力のあるオープンウェイトモデルとして位置づける

2.8兆パラメータ、100万トークンのコンテキスト、および新しいアテンション機構により、Kimi K3は大幅な速度とトレーニング効率の向上を達成。Delta Attentionは100万トークンのコンテキストで最大6.3倍の高速デコードを提供し、Attention Residualsは最小限のコストでトレーニング効率を約25%向上させる。これらの革新により、大規模で長いコンテキストのモデルがより実用的になる。

オープンウェイト公開がオープンソースAIエコシステムに影響を与える可能性

2026年7月27日までのオープンウェイト公開の約束は、コミュニティにエージェンティックコーディングに最適化された強力で自由に利用可能なモデルを提供する。これにより、オープンソース開発が加速し、長いコンテキストやエージェントベースのタスクにおいてプロプライエタリモデルに挑戦する可能性がある。

エージェンティックコーディングと自己進化型ワークフロー向けに構築されたモデル

Kimi K3は明示的に長期的なエージェンティックコーディングと自己進化型ワークフロー向けに設計されており、自律的なソフトウェア開発と継続的な改善シナリオに焦点を当てている。その100万トークンのコンテキストウィンドウは、非常に長いインタラクションにわたって一貫性を維持することをサポートする。

トレーニングインフラと計算効率の詳細

技術レポートでは、トレーニング中に5122万のサンドボックスが使用され、アーキテクチャ変更により計算効率が2.5倍向上したことが記載されている。これにより、必要なリソースの規模と効率最適化の有効性に関する透明性が提供される。

Source posts