Emu3.5 — 北京智源的多模态世界模型

北京智源推出了多模态世界模型Emu3.5。 - Emu3.5是由北京智源研究院推出的多模态世界模型。 - 该模型将图像、文本和视频统一为单一的令牌流。 - 训练目标:预测下一个令牌作为下一个世界状态(NSP)。 - Emu3.5学习场景中的空间关系。 - Emu3.5推断物体的时间动态和物理规则。 - Emu3.5预测“世界下一秒的样子”。 - 训练数据包括约790年的视频素材。 - 训练视频编码了时间、空间、物理、因果关系和意图。 - Emu3.5将图像、文本和视频帧视为相同的世界“构建块”。 - 该模型完成下一个令牌:文本行、下一个帧或下一个步骤的结果。 - Emu3.5可以生成预测的下一个帧图像(例如:孩子的气球飞走)。 - Emu3.5可以分解并生成逐步的指导图像(例如:制作饺子的步骤)。 - 详细评估、模型页面、演示和论文已发布并链接。
Key insights
Emu3.5重新定义多模态学习为下状态预测
Emu3.5通过将图像、文本和视频转换为统一的令牌序列,并训练模型预测下一个令牌作为下一个世界状态(NSP),重新定义了多模态建模。该模型的核心训练目标是学习跨模态的时间和因果关系,而不仅仅是文本的共现,使其能够从当前场景推断空间关系、物理动态和可能的即时未来状态。Emu3.5的处理流程将帧、文本行和视频片段视为相同的‘世界构建块’,并在下一个令牌预测目标上进行训练,直接映射到预测世界的下一秒。
广泛的视频训练编码时间、物理和意图
Emu3.5的训练语料库包括约790年的视频,开发者将其呈现为包含五个基本元素:时间、空间、物理、因果关系和意图。该模型利用长时间的视频数据学习动态物理规则和帧间的因果转变,将视频定位为最接近现实世界变化的数字记录,使Emu3.5能够在时间连续性基础上预测后续状态。
Emu3.5实现下秒视觉和指导生成
Emu3.5可以生成预测的下一个帧视觉和多步骤指导图像。示例输出包括一个图像序列,其中孩子的气球飞走,以及自动分解的逐步烹饪插图,例如制作虾芹猪肉饺子的步骤。该模型完成的下一个令牌对应于文本、下一个帧视觉或程序步骤,具体取决于预测的下状态令牌。
Emu3.5与以语言为中心的模型在动态方面的对比
开发者强调Emu3.5与GPT风格模型的区别在于其侧重于物理动态预测,而非语言知识推断。虽然GPT和Gemini执行基于知识和语言的外推,Emu3.5则专注于从多模态视频和图像中学习现实世界的空间和时间动态,以预测即时的未来状态。
发布了文档、演示和论文以供评估
此次发布包括详细的介绍和评估、官方模型网页、在线演示以供互动体验,以及描述Emu3.5设计和性能的研究论文。这些资源提供了验证和技术审查的依据。