XNews

多模态世界模型与图像文本渲染

多模态世界模型与图像文本渲染

新的多模态世界模型旨在预测下一个世界状态,并改善图像中的文本和指令遵循。- Emu3.5(北京人工智能学院)是一个统一的多模态世界模型,它对图像/文本/视频进行标记,并在下一个状态预测(NSP)上进行训练,以预测跨模态的“下一个世界状态”。- Emu3.5将图像、帧和文本统一视为标记,并学习预测代表后续视觉或文本状态的下一个标记。- Nano Banana Pro和GPT-Image-1通过使用本地多模态变换器标记预测,而不是仅依赖像素扩散,显示了在图像中文本渲染和指令遵循方面的显著进展。- 基于标记的本地多模态模型生成图像中的文本时,拼写错误率显著降低,因为它们将字符视为标记,并在各个模态中“连贯地”书写。- 这些方法使得在复杂视觉组合中实现更好的空间推理、因果预测和更高保真的指令遵循成为可能。

Key insights

Emu3.5在下一个状态预测下统一模态

Emu3.5是一个多模态世界模型,它将图像、文本和视频转换为共享的标记表示,并训练模型预测下一个世界状态标记(NSP)。通过统一对待所有模态,该模型学习跨模态动态和时间预测——预测后续帧、继续字幕或下一个事件——旨在改善视觉和语言任务中的空间推理和时间连续性。

本地多模态标记模型改善图像文本生成

Nano Banana Pro和GPT-Image-1比基于扩散的图像生成器更准确地生成图像文本并遵循布局指令。由于基于标记的多模态变换器在共享语义空间中直接预测文本标记,因此它们生成字符时拼写错误显著减少,并且与指令的对齐度优于将字符视为不受约束像素的像素级去噪扩散方法。

世界模型训练目标关注因果和时间预测

Emu3.5使用的NSP目标将多模态生成重新框定为下一个状态预测问题:模型学习预测给定世界状态的下一个视觉或文本标记序列,使得跨时间和模态的因果推理成为可能,而不是对每个模态进行孤立生成。

多模态标记化支持统一推理和更高保真输出

将图像、视频帧和文本转换为共享的标记词汇,使得变换器能够对所有模态应用相同的预测机制,从而改善跨模态的一致性,并支持多帧预测、视觉布局中的指令遵循以及图像内部文本内容的一致渲染等任务。

Source posts