机器人后训练迎来其'GPT-2时刻'

研究人员认为,机器人后训练正处于类似大语言模型GPT-2的转折点,需要标准化方法将广泛能力转化为可靠性能。他们提出EXPO-FT,一种基于价值的强化学习方法,通过小型编辑策略从大型预训练模型中精化动作,在复杂任务上实现30/30成功率,且在线交互极少。
Key insights
机器人领域的GPT-2时刻类比
作者指出,机器人后训练正处于大语言模型的'GPT-2时刻':预训练的视觉-语言-动作模型和世界-动作模型具备广泛但不稳定的技能。缺失的是一套标准化、可复用的后训练流程,将'能做'转化为'可靠地做'。大语言模型经历了从监督微调到RLHF再到RLVR的发展路径,机器人领域也需要类似的演进。
机器人强化学习面临的独特挑战
机器人强化学习与大语言模型强化学习在三个方面存在差异:样本成本(机器人经验获取昂贵,仿真可能比真实任务更困难)、时间结构(每个回合包含数百到数千个低级决策,奖励稀疏)以及随机性(物体滑动、传感器噪声)。这些因素促使机器人领域偏好基于价值的强化学习,然而该方法在十亿参数规模上验证最少。
现有方法的局限性
论文阐述了当前方法失败的原因:扩散Q学习成本高且不稳定;基于采样的方法(如EMaQ、SfBC)受限于基础模型;动作梯度方法需要精细的正则化;输入噪声空间引导仅能重组已知行为。传统的基于价值强化学习假设高斯单峰策略,而现代模型使用扩散/流模型实现多峰行为。
EXPO-FT机制与设计
EXPO-FT采用三阶段流程:(1)轻量级编辑策略对基础模型产生的候选动作进行有界修正,将其推向价值峰值;(2)机器人采样多个候选动作,进行编辑,并通过价值函数选取最优动作;(3)成功的动作通过持续训练回融至预训练模型中。强化学习的不稳定性被限制在小型编辑策略内。
实验结果与人在环
EXPO-FT在六项复杂操控任务(如穿钩、投球、翻蛋)上实现30/30成功率,平均在线交互时间19分钟。其表现优于SFT、HG-DAgger、DSRL和HIL-SERL等基线方法。人类角色为远程安全监控员,对错误进行干预,相关数据用于训练,类似于Waymo的远程安全操作员。
标准化面临的开放协议问题
论文指出了需要社区达成共识的开放问题:奖励规范(机器人领域尚无RLVR的等价物)、重置策略、人类干预时机、超参数默认值以及初始化数据权重。作者发布了EXPO-FT调优参考,作为迈向标准化流程的一步。