XNews

机器人技术与世界模型:从仿真到现实世界的智能体

机器人技术与世界模型:从仿真到现实世界的智能体

机器人研究整合语言、视觉和仿真,以提升现实世界的智能体能力。

Key insights

LLM规划与RL控制的整合推动机器人能力

机器人团队描述了一种双层方法:大型语言模型(LLMs)或视觉-语言-行动(VLA)模型提供高层次规划、指令分解和自然语言解释,而强化学习(RL)和控制堆栈则处理精确的运动执行。这种分离使机器人能够通过结合规划的“思考”与学习到的执行原语来处理多步骤的家庭或工业任务。

世界模型与Emu3.5统一多模态预测以进行下一帧推理

Emu3.5将多模态输入(图像、文本、视频)框架化为统一的标记,并训练模型预测“下一个世界状态”——一种跨视觉和语言模态的下一个标记方法,旨在改善具身智能体的场景动态预测。

运动转移和仿真数据降低每个机器人的数据成本

团队报告了运动转移技术,使得一个机器人身体的运动数据集可以为其他机器人提供信息,从而改善数据重用。鉴于物理数据的高成本,研究人员强调仿真、YouTube视频挖掘和合成数据生成作为可扩展的来源,以启动机器人学习。

触觉感知在灵巧操作中的重要性日益增加

研究人员强调,虽然视觉足以处理许多夹持任务,但灵巧手操作(如剪刀、精细物体)需要触觉模态;未来的机器人系统将整合触觉数据与视觉和语言,以实现更精细的控制。

时间表:垂直部署在广泛家庭采用之前

专家预测,在2至5年内,机器人将在制造、物流、零售等领域实现实用的垂直部署,具备通用能力,而广泛的家庭采用和强大的通用家庭机器人仍需10年的时间,考虑到当前在灵巧性、数据和可靠性方面的差距。

Source posts