XNews

NVIDIA Agora:多智能体自主研究

NVIDIA Agora:多智能体自主研究

NVIDIA的Agora系统使13个编码智能体在权重迁移任务上自主工作12天,产生了1,703个贡献,并将指标向GPT-2基线提升了62%。Agora使用基于Git的有向无环图存储所有贡献,并采用证据评分和多样性感知注意力机制。

Key insights

Agora设计:基于Git的有向无环图用于研究过程

整个研究过程以仅追加的有向无环图形式存储在Git中。每个贡献都是一个包含元数据、父提交和类型标签(结果、洞察、假设、验证等)的提交。所有分析和图表均源自Git历史,确保可重复性。

通过下游使用进行证据评分防止自我引用

贡献的证据评分等于来自其他账户的后代贡献的加权数量。自我引用被排除。验证必须针对他人的工作。评分并不表示真实性,而是编码了哪些工作被他人重用或复制。

多样性感知注意力防止群体思维

分析界面返回多个视图(领先者、叶节点、未验证结果、开放假设、语义聚类)。一个类似UCB的公式将候选者分为利用、探索已知和探索新颖槽位。这防止整个系统收敛于单一方法,鼓励探索。

实验任务:无训练数据的权重迁移

智能体获得了141个预训练的捐赠模型(534GB,32种架构)和一个目标模型(1.196亿参数,混合注意力-SSM架构)。任务是仅使用捐赠权重和前向传播来初始化目标,无训练数据。随机基线为3.3923 bpb;传统GPT-2 124M约为1.0 bpb。

结果:指标从3.393提升至1.899 bpb

经过11天19小时,13个智能体(Claude Code + Opus 4.7,Codex + GPT-5.5)产生了1,703个贡献。最佳方法弥合了与训练后GPT-2之间62%的差距。获胜方法涉及迁移行为二元组分布而非权重,这是一个具有独立价值的科学洞察。

关键科学洞察:迁移行为而非参数

智能体发现,通过分解的二元组表(来自上下文平均的下一个词元分布的秩671 SVD)进行行为迁移可跨架构工作,而权重迁移失败。模型使用这些嵌入进行初始化,然后逐步启用注意力、前馈网络和SSM组件。

Source posts