XNews

多模态世界模型、视频和虚拟形象的进展

多模态世界模型、视频和虚拟形象的进展

多个组织发布了多模态和世界模型的进展。- 北京研究所发布了Emu3.5,这是一个统一的多模态世界模型,可以对图像/视频/文本进行标记,并预测“下一个世界状态”。- Nano Banana Pro和本地多模态模型通过将文本视为跨模态标记,改善了图像文本渲染。- Runway宣布了Gen 4.5视频模型,具备原始音频生成/编辑、ALF多镜头视频编辑、GWM1自回归帧预测世界模型、GWM Worlds环境模拟器、GWM Avatars高保真数字人类以及GWM Robotics用于基于模拟的政策评估。- Qwen3-Omni声称实现了文本、图像、音频和视频的端到端全模态统一,在音频/视听基准测试中达到SOTA,并开源了变体。- 这些进展强调了一致的多帧一致性、音频驱动的虚拟形象运动以及下一帧现实性的世界模型预测。

Key insights

Emu3.5提出跨模态的统一标记世界建模

北京研究所介绍了Emu3.5,这是一个多模态世界模型,将图像、文本和视频转换为统一的标记,并将学习视为下状态预测。Emu3.5将任务框架设定为预测下一个世界标记(文本、下一帧、下一个事件),声称在跨模态之间实现了更好的时空和因果一致性,并能够为视觉和语言序列提供下一步的预测。

Runway发布Gen 4.5、GWM1和虚拟形象用于视频生成和编辑

Runway发布了Gen 4.5视频模型,具备原生音频生成和编辑功能,ALF用于环境一致性的多镜头编辑,以及GWM1,一个用于自回归帧预测的生成世界模型。Runway还发布了GWM Worlds用于沉浸式环境生成,GWM Avatars用于高保真的音频驱动数字人类,以及GWM Robotics用于模拟成功和失败,以支持机器人学习和策略评估。

本地多模态模型改善渲染文本和指令跟随

本地多模态变换器如Nano Banana Pro和GPT-image-1通过将图像元素和文本视为共享标记,显著改善了图像内文本渲染和指令跟随,减少了拼写错误,并提高了与基于扩散的像素模型相比的跨模态保真度。

Qwen3-Omni推动端到端全模态能力和开源

阿里巴巴的Qwen3-Omni声称实现了文本、图像、音频和视频的统一端到端处理,在许多音频/视听基准测试中取得了SOTA结果,具有低延迟和开源变体,用于指令、思考和字幕。此次发布包括公共权重和开发工具,以供实验。

Source posts