机器人技术与世界模型——具身人工智能与感知-行动模型

机器人专家反思了家庭机器人为何仍然稀少,并描述了近期的进展。谷歌的Gemini Robotics 1.5整合了“先思考后行动”的视觉-语言-行动(VLA)方法:机器人在执行动作之前生成文本计划,并展示内部推理。运动转移技术使得跨平台技能共享成为可能,从而不同的机器人可以重用数据。数据稀缺是主要瓶颈;团队通过模拟、YouTube视频和合成数据来扩展。触觉/力感知在灵巧任务中变得越来越重要;对于简单的夹持器,视觉足够,但触觉对于精细操作至关重要。北京智源的Emu3.5提出了一种统一的多模态世界模型,能够预测跨图像、视频和文本的“下一个世界状态”标记。
Key insights
先思考后行动的VLA提高了解释性和多步骤任务性能
谷歌DeepMind的机器人团队描述了从直接感知到行动的策略转向视觉-语言-行动(VLA)代理,这些代理在发出运动指令之前会生成明确的文本计划。这种方法带来了两个好处:改善了多步骤任务的分解和可读的内部状态,从而有助于安全性和调试。
运动转移使跨身体技能重用成为可能
团队报告了运动转移技术,允许在一个机器人平台上收集的技能数据为不同机体的控制策略提供信息。这通过启用共享表示和跨机器人类型的迁移学习,降低了每个机器人的数据成本。
数据是主要瓶颈;模拟和合成视频是扩展路径
机器人领导者强调了物理机器人数据的高边际成本以及对可扩展来源的需求:大规模模拟、利用公共视频(如YouTube)和合成视频生成来创建多样化的训练场景和行为。
触觉感知对灵巧操作变得至关重要
虽然视觉足以完成许多粗略的抓取和放置任务,但领导者报告称,触觉/力反馈对于灵巧手的精细操作至关重要——如剪刀或精细物体对齐等任务需要在控制回路中使用触觉模态。
Emu3.5和世界模型方法旨在跨模态预测“下一个世界状态”
北京智源发布了Emu3.5,这是一种多模态世界模型,将视频、图像和文本标记化为统一的标记,并训练以预测下一个世界状态标记,旨在统一感知和动态,提高物理推理能力。
近期路线图:领域特定的推出在家庭普及之前
领导者预测在未来2到3年内将进一步提升能力,使得可推广的机器人在制造和物流等领域变得实用,而家庭机器人则会稍后到来。该时间表强调了按领域逐步部署,而不是立即推出家庭机器人。