机器人学的GPT-2时刻:亟需标准化的后训练流程

研究人员提出EXPO-FT,一种针对机器人学的标准化后训练方法,解决了大规模预训练后对可靠性能的需求。在六项复杂任务中,EXPO-FT实现了30/30的成功率,平均仅需19分钟的在线交互,优于SFT和HG-DAgger等基线方法。
Key insights
机器人学后训练缺乏标准化
机器人学领域正处于‘GPT-2时刻’——预训练模型(如VLA、世界-动作模型)具备广泛但不稳定的能力。缺失的环节在于一套标准化、可复用的后训练流程,将‘能够做到’转化为‘每次都可靠地做到’。作者类比了大语言模型的发展路径(监督微调、RLHF、RLVR),但指出机器人学对可靠性有更严格的要求,因为单个不良动作会瞬间发生,且无人为审查。
机器人学RL与LLM RL的关键差异
机器人学强化学习与大语言模型强化学习在三个方面存在关键差异:样本成本(机器人经验昂贵且仿真困难)、时间形态(每个回合包含数百至数千个低级决策,且奖励稀疏)以及随机性(物体滑动、传感器噪声)。这些因素促使机器人学倾向于基于价值的强化学习,但这种范式在十亿参数规模下尚未得到充分验证。论文将此视为需要解决的核心矛盾。
现有方法各有缺陷
作者绘制了一张‘排除地图’,说明当前方法为何不适用:扩散Q学习存在冗长的去噪链;采样-再选择方法(如EMaQ、SfBC)的性能受限于基模型的提议能力;动作梯度引导的去噪需要精细的正则化;输入噪声空间引导仅能重组已知行为。经典的基于价值强化学习假设高斯单峰策略,而前沿模型采用扩散策略处理多模态行为,且自举误差在规模扩大时会被放大。
EXPO-FT:小模型与大模型分工的三阶段解决方案
EXPO-FT使用轻量级‘编辑策略’对基模型输出进行有界修正,将动作推向价值峰值。执行时,机器人采样候选动作,进行编辑,并通过价值函数选择最佳动作。成功动作通过训练被吸收回预训练模型,使大模型能够学习超越噪声空间重组的新行为。人工监督用于干预,类似于Waymo的远程安全操作员。
实验结果显示复杂任务中30/30成功率
EXPO-FT在六项复杂操作任务上进行了测试:将灯线穿过挂钩并插入插座、台球入袋、将花插入瓶颈、煎蛋翻面以及平衡球。所有任务均取得30/30的成功率,平均仅需19分钟在线交互。这显著优于基线方法(如基于π0.5的SFT、HG-DAgger、DSRL和HIL-SERL),后者平均成功次数在5.5至20.5之间。
通用推广仍需解决开放协议问题
论文标题中包含‘通用’,但社区仍需解决若干协议问题:如何指定奖励(机器人学缺乏RLVR等价物,学习型成功分类器有前景)、由谁执行复位(学习复位策略或可逆任务设计)、何时需要多少人工干预、默认超参数以及初始化数据的权重分配。作者已发布EXPO-FT调优参考,作为迈向标准化的一步。