s3多智能体强化学习方法让集群学会自主协调

研究人员提出了s3,一种合作式多智能体强化学习方法,智能体自行决定何时独立工作、分享发现或阅读队友的消息,无需预定义角色或通信时间表。在训练和推理预算匹配的情况下,以两倍于训练规模的集群进行评估时,s3解决的协调问题数量是最强基线的25倍以上,并且在并行探索中,通信智能体将重复工作减少了近50%,性能比best-of-N高出最多9.4个百分点。
事件版本 1.
Key insights
组织是学习而非设计的
多智能体系统通常遵循预先编写的静态框架,决定哪个智能体做什么以及智能体何时互相通信。s3则让智能体通过合作式强化学习来学习这种组织方式,无需预定义角色或通信时间表。
更大规模下的协调增益
在训练和推理预算匹配的情况下,以两倍于训练规模的智能体数量评估s3集群时,其解决的协调问题数量是最强基线的25倍以上。
并行探索中的效率
在并行探索中,通信智能体将重复工作减少了近50%,性能比best-of-N高出最多9.4个百分点。
涌现的互补角色
s3智能体学会采取不同的方法、阅读彼此的工作,并展现出在集群中相互补充的涌现角色。这些角色可以推广到更大的团队。