世界模型与机器人技术 — Yann LeCun 和 DeepMind

Yann LeCun 离开 Meta 创立了 AMI,倡导世界模型和 JEPA 风格的方法,而非仅依赖 LLM 的路径。他认为仅依靠文本的 LLM 无法捕捉现实世界的动态,强调了联合嵌入预测架构(JEPA/I-JEPA)和分层抽象在高效世界预测中的重要性,并将视频/多模态训练视为必不可少。DeepMind 和 Google 机器人研究强调了将 VLA(视觉-语言-行动)与仿真数据相结合、跨机器人身体的运动转移以及可扩展机器人数据(仿真 + YouTube + 生成数据)的必要性。Runway 和 Emu3.5 的发布也标志着视频/世界预测模型和实时视频编辑的进展。
Key insights
LeCun:需要世界模型,而非仅依赖 LLM 的方法以实现现实世界智能
Yann LeCun 宣布他离开 Meta 创立 AMI,并认为以 LLM 为中心的方法无法仅通过文本学习现实世界的动态。他推广了世界模型架构(JEPA/I-JEPA),在抽象嵌入空间中进行预测,以忽略随机的低级细节,并指出视频和多模态训练提供的学习信号比文本更丰富、更密集。
机器人技术:VLA + 仿真 + 运动转移实现跨平台技能
DeepMind 和 Google 机器人研究人员描述了将视觉-语言-行动模型与仿真数据和运动转移技术相结合,以实现跨身体的泛化。Gemini Robotics 1.5 引入了文本“思维”痕迹,用于机器人计划和运动转移,以在不同机器人身体之间共享技能,同时强调触觉/力量模态在灵巧任务中的重要性。
Emu3.5 和 Runway GWM:用于下一个状态预测的多模态世界模型
北京研究所的 Emu3.5 将多模态学习框架为统一的令牌预测,以预测文本、图像和视频中的“下一个世界状态”。Runway 发布了 Gen 4.5 和 GWM 系列(GWM1、GWM Worlds、GWM Robotics),用于帧级预测、实时可编辑的头像,以及包括失败场景的以机器人为中心的模拟环境,以实现稳健学习。
数据和可扩展性仍然是机器人技术的核心瓶颈
机器人团队强调数据成本是瓶颈:大规模物理机器人数据收集成本高昂;策略包括可扩展仿真、利用人类视频(YouTube)和合成数据生成(视频模型),以提供实现现实世界泛化所需的广度。