XNews

世界模型与多模态预测的进展

世界模型与多模态预测的进展

世界模型研究和本土多模态预测器迅速发展。

Key insights

Yann LeCun离开Meta创办AMI并倡导世界模型

Yann LeCun在65岁时离开Meta,创办了位于巴黎的高级机器智能(AMI),他提到Meta日益封闭和短期的关注。他批评了仅依赖大型语言模型(LLM)的路径,认为基于文本训练的LLM无法达到人类级别的现实世界智能,因为文本缺乏必要的时空数据。LeCun提倡通过联合嵌入预测架构(JEPA/I‑JEPA)及相关方法(Barlow Twins,VICReg)实现世界模型,并承诺AMI将发布上游研究,同时构建产品。

Emu3.5统一多模态输入以预测下一个世界状态

北京的一家研究所发布了Emu3.5,这是一种多模态世界模型,将图像、文本和视频标记化为统一的标记流,并通过预测下一个标记/状态(NSP)进行训练。Emu3.5重新构建任务,使下一个标记预测对应于预测下一个视觉或语言世界状态,从而在单一模型中实现空间推理、时间动态和跨模态连续性。

世界模型与像素/文本预测:JEPA与表示预测

LeCun及其合作者认为,世界模型应在抽象表示空间中进行预测,而不是在像素/标记级别。JEPA风格的方法将X和Y编码为嵌入并预测未来的嵌入,从而过滤掉不可预测的低级噪声。提到的发展包括Barlow Twins、VICReg、SigReg和I‑JEPA变体,确保各向同性编码器输出;这些技术经过数十年的精炼,最近应用于视频和多模态预测任务。

本土多模态变换器改善渲染文本和指令遵循

本土多模态的输入/输出模型,如Nano Banana Pro和gpt‑image‑1,将图像像素和文本视为共享向量;这使得模型能够在图像中“书写”可读的汉字,而不是将笔画近似为像素。与基于扩散的像素模型相比,结果显示字符错误率大幅降低,图像中的指令遵循能力得到改善。

DeepSeek‑V3.2:稀疏注意力与专家蒸馏以提高推理效率

DeepSeek‑V3.2引入了一种深度稀疏注意力(DSA)机制,以减少长输入的复杂性,通过专家模型加知识蒸馏进行训练,并使用大型合成模拟任务套件(≈1800个场景)进行代理训练。论文报告显示在推理和代理基准测试中与封闭模型持平或优于,同时降低计算成本。

Runway发布Gen 4.5和GWM1世界模型用于视频和环境模拟

Runway发布了Gen 4.5视频模型,具备原始音频生成/编辑功能,并支持多镜头视频编辑,保持角色和光照一致性。Runway还发布了GWM1,这是一个自回归世界模型,用于逐帧预测,支持用户干预的流式生成,以及GWM Worlds用于实时环境模拟,GWM Avatars用于高保真音频驱动的视频生成,以及GWM Robotics用于模拟机器人政策评估中的成功与失败。

Source posts