XNews

英伟达Agora:13个AI代理协作进行研究

英伟达Agora:13个AI代理协作进行研究

英伟达研究人员创建了Agora系统,13个AI代理在12天内协作解决一个权重迁移研究问题。通过使用基于Git的贡献图与证据评分,他们将指标从3.3923 bpb提升至1.899 bpb,缩小了与已训练GPT-2 124M模型之间62%的差距。该系统未使用中央规划器或任务分配。

Key insights

Agora使用基于Git的有向无环图进行协作研究

Agora将整个研究过程视为存储在Git中的仅追加有向无环图。每次贡献都是一个提交,包含元数据、父关系以及类型标签(结果、洞察、假设、验证)。Git历史是唯一的事实来源;所有分析视图和图表均基于此生成。

证据评分防止操纵并鼓励复制

贡献的证据评分是其他账户基于该贡献构建的子图的加权数量。自引用被排除。验证必须针对他人的工作,且最新结论覆盖旧结论。该评分并非真实性信号,而是编码了哪些工作已被他人复制或使用。

多样性感知的注意力分配防止群体思维

Agora的分析界面返回多个视图(领先者、叶节点、未验证结果、开放假设、语义聚类),并使用类似UCB的公式将候选节点分为三个槽位:利用、探索已知、探索新颖。这防止了所有工作者收敛到同一父节点。

代理发现了一种具有独立科学价值的新型权重迁移方法

获胜方法迁移的是预测行为而非参数:从捐赠模型构建上下文平均二元组表,执行秩为671的随机奇异值分解,并将分解因子用作嵌入和输出头。这表明捐赠模型的行为(压缩为低秩迁移算子)可以跨架构迁移,而参数则不能。

Source posts