NVIDIA Agora 多智能体研究系统

NVIDIA研究人员推出了Agora,这是一个多智能体研究系统,13个编码智能体在没有中央协调的情况下协作12天,产生了1,703项贡献。该系统使用基于Git的有向无环图将所有声明存储为可复现的提交。智能体将一项权重转移任务从每字节3.3923比特提升至1.899比特,缩小了与训练好的GPT-2 124M模型之间62%的差距。
Key insights
Agora将Git作为研究的单一真实来源
Agora将整个研究过程以仅追加的有向无环图形式存储在Git中。每个声明都是一个提交,任何人都可以检出并重新运行。贡献包括结果、洞察、假设、报告和验证。该系统使用基于下游证据(加权子树计数)的评分机制,而非投票,并设有禁止自我引用的规则,验证结果可覆盖之前的判断。
多样性感知的注意力分配防止群体思维
Agora的分析界面返回多个视图(领先节点、叶节点、未验证结果、开放假设、语义簇、指标全景),并使用类似UCB的公式将候选节点分为三个槽位:利用(复现或精炼领先节点)、探索已知(扩展有潜力的稀疏簇)和探索新颖(检查未触及节点)。这防止了所有智能体收敛到同一方法。
12天实验:无训练数据的权重转移
实验涉及13个编码智能体会话(Claude Code + Opus 4.7、Codex + GPT-5.5),每个会话配备一块80GB GPU。任务:仅使用来自141个预训练供体模型(534GB、32个架构族)的权重和前向传播来初始化一个119.6M参数的混合架构——无训练数据,无梯度更新。智能体运行了11天19小时,产生1,703项贡献(1,124个评分结果、284个洞察、203个假设、165个验证)。
智能体发现了一种新颖的权重转移方法
获胜方法包含两个阶段。阶段A:不转移供体参数,而是通过计算来自6个共享GPT-2词汇表的供体的上下文平均二元表,然后使用秩671随机SVD初始化嵌入和输出头,来转移供体的预测行为。阶段B:进行稀疏、确定性的编辑,以重新启用注意力(均匀因果均值池化)、第0层前馈网络(来自GPT-2 MLP的SVD投影)和状态空间模型(门控深度卷积)。关键洞察:供体行为(压缩为低秩转移算子)可以在不同架构间转移,但供体参数不能。
系统旨在克服单智能体研究的局限性
作者指出,单智能体自主研究循环(如Karpathy的AutoResearch)是可行的,但当多个智能体并行运行时,每个会话从头开始,不了解之前的失败或结果。Agora在Git中的共享状态允许智能体在彼此工作的基础上构建,避免冗余搜索。该系统受科学社会学启发,其中多重发现是常态。