XNews

机器人技术与世界模型:Gemini Robotics 和 Emu3.5

机器人技术与世界模型:Gemini Robotics 和 Emu3.5

DeepMind 和北京团队展示了机器人认知、世界模型和多模态预测的进展。- DeepMind 的机器人技术负责人解释了模拟成功与现实世界机器人可靠性之间的差距。- Gemini Robotics 1.5 增加了文本“思考”输出和运动转移,以实现跨机器人技能共享。- 运动转移使得一种机器人形态的数据能够帮助其他机器人,解决数据稀缺问题。- DeepMind 强调数据成本,并倡导可扩展的模拟和生成数据源(如 YouTube、生成视频)用于训练。- 触觉感知在灵巧手部任务中变得越来越重要;视觉可能足以进行粗略抓取,但无法满足精细操作的需求。- 时间线估计:2-3 年内可见突破,5 年内实现垂直部署,10 年内实现更广泛的家庭应用。- Emu3.5(北京)是一个统一的多模态世界模型,将图像/文本/视频进行标记化,并训练以预测“下一个世界状态”(NSP),实现跨模态的下一帧/世界预测。- Emu3.5 将生成重新定义为下一个标记的世界预测,而不是特定模态的输出。

Key insights

Gemini Robotics 1.5 增加明确的“思考”和跨形态转移

DeepMind 的机器人工作在运动输出之前嵌入了文本规划/‘思考’阶段,使机器人能够生成可供人类阅读的中间推理。Gemini Robotics 1.5 包含运动转移技术,允许一种机器人身体的数据为另一种提供信息,从而减少每个平台的数据需求。团队强调,增加可读的内部步骤可以改善多步骤任务的处理和透明度。

数据稀缺仍然是现实世界机器人技术的核心瓶颈

DeepMind 强调,机器人数据收集成本高昂,目前不可扩展;估计包括大量硬件、人为遥控和维护成本。团队主张使用可扩展的数据源——模拟、互联网视频和生成数据——来缩小差距。运动转移和模拟逼真性被描述为使数据适用于广泛机器人通用化的核心策略。

世界模型转向统一的标记预测以实现多模态连续性

Emu3.5 提出了一个统一的多模态方法,将图像、文本和视频转换为标记,并训练模型进行下一个状态预测(NSP)。Emu3.5 将下一个标记的预测视为下一个世界状态(视觉或文本)的预测,从而实现跨模态的时间推理和预测。该架构旨在学习物理、因果关系和跨模态的时间演变。

触觉感知在灵巧操作中的重要性日益增长

DeepMind 指出,虽然视觉足以完成许多抓取任务,但灵巧手(例如剪刀、小物体)的精细操作需要触觉反馈。团队观察到,随着机器人操控器从简单的抓取器发展到多指灵巧操作,触觉变得越来越必要。

开发者预计在十年内逐步实现现实世界的影响

受访者提供了时间线:2-3 年内可见突破,5 年内在物流/制造/零售领域实现垂直部署,约 10 年内实现广泛的家庭应用。他们警告说,公众演示往往展示的是精心挑选的成功案例;一般可靠性仍低于生产阈值。

Source posts