XNews

世界モデルとマルチモーダル予測(Emu3.5、Runwayの進展)

世界モデルとマルチモーダル予測(Emu3.5、Runwayの進展)

北京智源は、テキスト、画像、動画を共有トークンスペースに変換し、次の世界状態を予測することによって学習するマルチモーダル世界モデルEmu3.5を発表しました。Emu3.5はすべてのモダリティを均一に扱い、時間的ダイナミクスを学習します。RunwayはGen 4.5とGWMスイートを発表しました。ALFによる音声編集を伴う動画編集、GWM1による自己回帰フレーム予測、没入型環境生成のためのGWM Worlds、音声駆動の高忠実度デジタルヒューマンのためのGWM Avatars、成功した相互作用と失敗した相互作用のシミュレーションを行うためのGWM Roboticsが含まれています。

Key insights

Emu3.5は統一されたマルチモーダル次状態予測を追求

北京智源のEmu3.5は、画像、動画、テキストを単一のトークン化されたモダリティとして扱い、次状態予測の目的で学習します。このモデルは、単語であれ動画フレームであれ次のトークンを予測することによって物理的および時間的な規則性を学習することを目指しており、クロスモーダルなダイナミクスを学びます。

Runwayが動画編集と世界モデルを進展させる

Runwayは、ネイティブな音声生成/編集と一貫したマルチショット動画編集のためのALFを備えたGen 4.5を発表しました。GWMスイートには、自己回帰フレーム予測のためのGWM1、インタラクティブな環境生成のためのGWM Worlds、リアルな音声駆動のデジタルヒューマンのためのGWM Avatars、成功した相互作用と失敗した相互作用のシミュレーションを行うためのGWM Roboticsが含まれています。

世界モデルはピクセル再構築よりも時間的および因果的予測を重視

Emu3.5とRunwayのGWMの両方は、表現空間における未来の状態とダイナミクスの予測を優先し、ピクセル単位の再現ではなく、意味のある制御可能な結果に焦点を当てており、生成中の計画と介入を可能にします。

Source posts