マルチモーダル世界モデルと画像テキストレンダリング

新しいマルチモーダル世界モデルは、次の世界状態を予測し、画像内のテキストおよび指示の遵守を改善することを目的としています。- Emu3.5(北京人工知能学院)は、画像/テキスト/ビデオをトークン化し、次の状態予測(NSP)に基づいて「次の世界状態」を予測する統一されたマルチモーダル世界モデルです。- Emu3.5は、画像、フレーム、テキストを均一にトークンとして扱い、次の視覚的またはテキスト的な状態を表す次のトークンを予測することを学習します。- Nano Banana ProおよびGPT-Image-1は、ピクセルのみの拡散ではなく、ネイティブなマルチモーダルトランスフォーマートークン予測を使用することにより、画像内のテキストレンダリングと指示遵守において重要な進展を示しています。- ネイティブなトークンベースのマルチモーダルモデルは、文字をトークンとして扱い、モダリティを超えて一貫して「書く」ため、画像内のテキスト生成においてはるかに低いスペルエラー率を生成します。- これらのアプローチにより、より良い空間的推論、フレーム間の因果予測、複雑な視覚構成における高忠実度の指示遵守が可能になります。
Key insights
Emu3.5は次の状態予測の下でモダリティを統一する
Emu3.5は、画像、テキスト、ビデオを共有トークン表現に変換し、次の世界状態トークン(NSP)を予測するようにモデルを訓練するマルチモーダル世界モデルです。すべてのモダリティを均一に扱うことで、モデルはクロスモーダルのダイナミクスと時間的予測を学習し、次のフレーム、キャプションの継続、または次のイベントを予測し、視覚と言語タスクにおける空間的推論と時間的連続性の向上を目指します。
ネイティブなマルチモーダルトークンモデルが画像内のテキスト生成を改善する
Nano Banana ProおよびGPT-Image-1は、拡散ベースの画像生成器よりも正確に画像テキストを生成し、レイアウト指示に従います。トークンベースのマルチモーダルトランスフォーマーは、共有された意味空間内でテキストトークンを直接予測するため、文字をはるかに少ないスペルエラーでレンダリングし、ピクセルレベルのノイズ除去拡散法と比較して指示への整合性が向上します。
世界モデルの訓練目標は因果的および時間的予測に焦点を当てる
Emu3.5によって使用されるNSPの目的は、マルチモーダル生成を次の状態予測の問題として再定義します:モデルは、特定の世界状態に対して次の視覚的またはテキスト的トークンシーケンスを予測することを学習し、モダリティごとに孤立した生成ではなく、時間とモダリティを超えた因果推論を可能にします。
マルチモーダルトークン化が統一的な推論と高忠実度の出力をサポートする
画像、ビデオフレーム、テキストを共有トークン語彙に変換することで、トランスフォーマーはすべてのモダリティに同じ予測機構を適用でき、クロスモーダルの一貫性が向上し、マルチフレーム予測、視覚レイアウトでの指示遵守、および画像内のテキストコンテンツの一貫したレンダリングなどのタスクが可能になります。