XNews

世界模型与多模态预测(Emu3.5,Runway进展)

世界模型与多模态预测(Emu3.5,Runway进展)

北京智源推出了Emu3.5,这是一种多模态世界模型,可以将文本、图像和视频转换为共享的令牌空间,并通过预测下一个世界状态(NSP)进行训练。Emu3.5对所有模态进行统一处理,并学习时间动态。Runway发布了Gen 4.5和GWM套件:ALF视频编辑与音频编辑,GWM1自回归帧预测,GWM Worlds用于沉浸式环境生成,GWM Avatars用于音频驱动的高保真数字人类,以及GWM Robotics用于模拟成功和失败的机器人交互以进行训练。

Key insights

Emu3.5追求统一的多模态下一个状态预测

北京智源的Emu3.5将图像、视频和文本视为单一的令牌化模态,并以下一个状态预测目标进行训练。该模型旨在通过预测下一个令牌(无论是单词还是视频帧)来学习物理和时间规律,从而学习跨模态动态。

Runway推进视频编辑和世界建模

Runway宣布推出Gen 4.5,具备原生音频生成/编辑功能和ALF以实现一致的多镜头视频编辑。GWM套件包括GWM1用于自回归帧预测,GWM Worlds用于交互式环境生成,GWM Avatars用于逼真的音频驱动数字人类,以及GWM Robotics用于模拟成功和失败的机器人交互。

世界模型强调时间和因果预测而非像素重建

Emu3.5和Runway的GWM都优先考虑在表征空间中预测未来状态和动态,关注有意义的、可控的结果,而不是逐像素的复制,从而在生成过程中实现规划和干预。

Source posts