AutoRL多智能体系统实现强化学习训练自动化

来自美团、香港中文大学、上海科技大学和复旦大学的研究人员推出了AutoRL,这是一个多智能体系统,通过Perceptor、Proposer和Orchestrator角色对实时强化学习训练进行监督。在Qwen3上,AutoRL将AIME 2024从46.67%提升至66.67%,AIME 2025和HMMT 2025各提升11.67分,并将LongCat-Flash-Lite的智能体编程pass@1从52.29%提升至65.13%。
事件版本 1.
Key insights
三个智能体角色监督训练
Perceptor跟踪训练动态、rollout、评估和效率,在出现异常、退化或停滞时触发审议。三个Proposer通过共享证据诊断问题并完善干预措施,而Orchestrator审查建议并通过在线热更新或基于检查点的恢复来应用批准的更改。
Qwen3上的数学基准提升
与Qwen3上的静态GRPO方案相比,AIME 2024从46.67%提升至66.67%,AIME 2025和HMMT 2025各提升11.67分,IMO-AnswerBench提升9.75分。Qwen3-1.7B将AIME 2025从18.33%提升至30.00%。
LongCat-Flash-Lite的智能体编程改进
在LongCat-Flash-Lite的SWE相关任务上,在一次有中断的无人值守长时RL运行中,pass@1从52.29%提升至65.13%。
缺陷方案修复
给定一个故意设计有缺陷的方案(弱评分器、无KL、131K token响应),AutoRL检测并修复问题,在大多数任务上优于通用智能体。
验证仍然计算密集
研究记录显示,现有智能体能够处理无人值守的RL监督和动态调整。未来递归自我改进的难点在于开发对资源消耗型验证有价值的基础方法。