XNews

NVIDIA Agora:マルチエージェント自律研究

NVIDIA Agora:マルチエージェント自律研究

NVIDIAのAgoraシステムは、13のコーディングエージェントが重量転送タスクで12日間自律的に作業し、1,703件の貢献を生み出し、GPT-2ベースラインに向けて指標を62%改善しました。Agoraは、証拠スコアリングと多様性認識アテンションを備えたGitベースの有向非巡回グラフ(DAG)を使用してすべての貢献を保存します。

Key insights

Agoraの設計:研究プロセスのためのGitベースのDAG

研究プロセス全体は、Git内の追記専用DAGとして保存されます。各貢献は、メタデータ、親コミット、タイプタグ(結果、洞察、仮説、検証など)を持つコミットです。すべての分析と図はGit履歴から導出され、再現性が保証されます。

下流での利用による証拠スコアリングが自己引用を防止

貢献の証拠スコアは、他のアカウントからの子孫貢献の加重数を表します。自己参照は除外されます。検証は他者の作業を対象としなければなりません。スコアは真実を示すものではなく、どの作業が他者によって再利用または再現されたかをエンコードします。

多様性認識アテンションが集団思考を防止

分析インターフェースは複数のビュー(リーダー、リーフノード、未検証の結果、未解決の仮説、意味クラスタ)を返します。UCBに類似した数式により、候補を活用スロット、既知探索スロット、新規探索スロットに分割します。これによりシステム全体が単一のアプローチに収束するのを防ぎ、探索を促進します。

実験タスク:訓練データなしの重量転送

エージェントには、141個の事前訓練済みドナーモデル(534GB、32アーキテクチャ)とターゲットモデル(1億1960万パラメータ、ハイブリッド注意機構-SSMアーキテクチャ)が与えられました。タスクは、訓練データなしで、ドナー重みと順伝播のみを使用してターゲットを初期化することでした。ランダムベースラインは3.3923 bpb、従来のGPT-2 124Mは約1.0 bpbでした。

結果:指標が3.393 bpbから1.899 bpbに改善

11日19時間後、13のエージェント(Claude Code + Opus 4.7、Codex + GPT-5.5)が1,703件の貢献を生み出しました。最良の手法は、訓練済みGPT-2へのギャップの62%を埋めました。勝利したアプローチは、重みではなく行動的なバイグラム分布を転送するものであり、独立した価値を持つ科学的洞察です。

重要な科学的洞察:パラメータではなく行動を転送

エージェントは、分解されたバイグラムテーブル(文脈平均化された次トークン分布からのランク671 SVD)を介した行動転送がアーキテクチャ間で機能する一方、重み転送は失敗することを発見しました。モデルはこれらの埋め込みで初期化され、その後、注意機構、FFN、SSMコンポーネントが段階的に有効化されました。

Source posts