マルチモーダル世界モデル、ビデオおよびアバターの進展

複数のマルチモーダルおよび世界モデルの進展が各組織から発表されました。 - 北京の研究所が、画像/ビデオ/テキストをトークン化し「次の世界状態」を予測する統一マルチモーダル世界モデルEmu3.5を発表 - Nano Banana Proおよびネイティブマルチモーダルモデルが、テキストをクロスモーダルトークンとして扱うことで画像テキストレンダリングを改善 - Runwayが、オリジナル音声生成/編集、ALFマルチショットビデオ編集、GWM1自己回帰フレーム予測世界モデル、GWM Worlds環境シミュレーター、GWM Avatars高忠実度デジタルヒューマン、GWM Roboticsシミュレーション駆動のポリシー評価を発表 - Qwen3-Omniが、オーディオ/AVベンチマークでのSOTAを持つテキスト、画像、音声、ビデオのエンドツーエンドのオムニモーダル統合を主張し、オープンソースのバリエーションを提供 - 改善点は、整合性のあるマルチフレームの一貫性、音声駆動のアバターの動き、次フレームのリアリズムのための世界モデル予測を強調しています。
Key insights
Emu3.5はマルチモーダル間の統一トークン化された世界モデルを提案
北京の研究所が、画像、テキスト、ビデオを統一トークンに変換し、学習を次の状態の予測として扱うマルチモーダル世界モデルEmu3.5を導入しました。Emu3.5は、次の世界トークン(テキスト、次のフレーム、次のイベント)を予測するタスクをフレーム化し、モダリティ間での空間的・時間的・因果的一貫性を向上させ、視覚的および言語的シーケンスの次のステップ予測を可能にすると主張しています。
RunwayがGen 4.5、GWM1およびアバターをビデオ生成と編集のためにリリース
Runwayは、ネイティブ音声生成と編集、環境の一貫性を持つマルチショット編集のためのALF、自己回帰フレーム予測のための生成的世界モデルGWM1を搭載したGen 4.5ビデオモデルを発表しました。また、没入型環境生成のためのGWM Worlds、高忠実度音声駆動デジタルヒューマンのためのGWM Avatars、ロボット学習と戦略評価を支援するための成功と失敗をシミュレートするGWM Roboticsも公開しました。
ネイティブマルチモーダルモデルがレンダリングされたテキストと指示の追従を改善
Nano Banana ProやGPT-image-1のようなネイティブマルチモーダルトランスフォーマーは、画像要素とテキストを共有トークンとして扱うことで、画像内のテキストレンダリングと指示の追従を著しく改善し、スペルミスを減少させ、拡散ベースのピクセルモデルに対してクロスモーダルの忠実度を向上させています。
Qwen3-Omniがエンドツーエンドのオムニモーダル機能とオープンソース化を促進
アリババのQwen3-Omniは、テキスト、画像、音声、ビデオを統一的に扱い、多くのオーディオ/AVベンチマークでSOTA結果を達成し、低遅延および指示、思考、キャプションのためのオープンソースバリエーションを提供すると主張しています。このリリースには、実験のための公開ウェイトと開発者ツールが含まれています。