XNews

世界模型与机器人技术:Yann LeCun与DeepMind的观点

Yann LeCun离开Meta创办了AMI,主张世界模型优于仅基于文本的LLM方法,以实现真实世界的智能。Yann批评了仅依赖LLM的路径,认为文本数据无法大规模编码物理和多模态世界结构。他概述了联合嵌入预测架构(JEPA/I-JEPA),作为在抽象嵌入空间中进行预测的世界模型方法,而非像素。他认为视频和多模态数据嵌入了比文本更丰富的学习信号,训练视觉流是至关重要的。他将世界模型描述为跨表示层的抽象预测器(分子→物体→代理)。AMI将发布上游研究并保持开放,Yann指出开放性是避免封闭团队内部自我欺骗的必要条件。他估计人类水平或“狗水平”的具身智能可能需要5到20年,具体取决于障碍。他淡化了存在主义接管的情景,将AI安全视为一个工程和治理问题,具有可解决的约束。他建议在数学、建模和物理方面接受教育,以便在AI职业中保持长期发展,并倡导持续的开放和出版。

Key insights

需要世界模型(JEPA)来学习物理和多模态理解

Yann LeCun认为,仅依赖文本训练的LLM无法捕捉物理世界的预测结构;相反,需要在抽象嵌入空间中进行预测的世界模型(JEPA/I-JEPA)。他描述了JEPA风格的架构,将输入和目标编码为嵌入,并在该空间中进行预测,从而过滤掉不可预测的低级噪声。Yann认为视频和传感器数据提供了更密集的学习信号,而世界模型方法将在具身任务中比基于标记的LLM更有效地扩展。

开放研究和出版仍然是防止内部盲点的关键

Yann离开Meta时提到日益增加的封闭性和短期导向的工作。他坚持AMI将发布上游研究,认为保密会滋生自我欺骗,阻碍验证突破所需的科学反馈。他引用了FAIR的历史开放性(PyTorch起源)作为榜样,并赞扬来自中国等地的开源贡献推动了该领域的发展。Yann认为透明的出版既是科学的必要性,也是避免内部回音室的实际纪律。

世界模型使得跨表示层的抽象成为可能,而不是逐像素预测

LeCun强调抽象:科学依赖于选择可处理预测的表示层。他对比了完全物理模拟(不可行)与分层抽象(CFD、材料模型、代理),并认为世界模型应仅预测相关的潜在变量。他引用了历史进展(Barlow Twins、VICReg、Balestriero的工作)和I-JEPA作为适合预测和下游控制任务的嵌入空间的算法进展。

AI风险主要是工程和治理问题;世界模型系统可以纳入严格的安全约束

Yann拒绝了末日接管的叙述,将安全框架视为一个可以通过系统级约束来解决的工程问题。他提出了预测和约束优化相结合的架构,以创建尊重安全不变量的行动序列,并将其与易受越狱攻击的LLM微调方法进行了对比。他认为,通过明确的架构约束和谨慎的部署,构建安全的具身代理是可行的。

实际机器人技术进展需要可扩展的数据、仿真和多模态输入

DeepMind的机器人讨论指出,强化学习解决了运动/控制问题,而LLM提供了高层次的规划;两者的结合是必要的。机器人负责人强调数据稀缺和跨身体运动转移是核心挑战。他提到运动转移和仿真生成数据作为扩展机器人学习的技术,并强调在使用灵活的末端执行器时,触觉感知在灵巧操作中的重要性。

Source posts