XNews

Emu3.5 — 北京智源によるマルチモーダル世界モデル

Emu3.5 — 北京智源によるマルチモーダル世界モデル

北京智源のEmu3.5がマルチモーダル世界モデルとして発表されました。

Key insights

Emu3.5は次の状態予測としてマルチモーダル学習を再定義する

Emu3.5は画像、テキスト、動画を統一されたトークンシーケンスに変換し、次のトークンを次の世界状態(NSP)として予測するようモデルを訓練することで、マルチモーダルモデリングを再定義します。このモデルの核心的な訓練目的は、単にテキストの共起を学ぶのではなく、クロスモーダルな時間的および因果関係を学ぶことであり、現在のシーンから空間的関係、物理的ダイナミクス、そして可能な即時の未来の状態を推測できるようになります。Emu3.5のパイプラインは、フレーム、テキスト行、動画セグメントを同じ「世界の構成要素」として扱い、次のトークン予測の目的に基づいて訓練します。

広範な動画トレーニングが時間、物理、意図を符号化する

Emu3.5のトレーニングコーパスには、約790年分の動画が含まれており、開発者はこれを時間、空間、物理、因果関係、意図という五つの重要な要素を含むものとして提示しています。このモデルは、長期間の動画データを活用して、フレーム間の動的な物理法則と因果的な遷移を学習し、動画を現実世界の変化の最も近いデジタル記録として位置付け、Emu3.5が時間的連続性に基づいて次の状態を予測できるようにします。

Emu3.5は次の秒の視覚的および指示的生成を可能にする

Emu3.5は、次のフレームの視覚や多段階の指示画像を生成できます。出力の例としては、子供の風船が飛んでいく画像のシーケンスや、エビ・セロリ・豚肉の餃子を作るための手順を自動的に分解したステップバイステップの料理イラストがあります。このモデルは、予測された次の状態トークンに応じて、テキスト、次のフレームの視覚、または手続き的なステップに対応する次のトークンを完成させます。

Emu3.5はダイナミクスに関する言語中心のモデルと対比される

開発者は、Emu3.5をGPTスタイルのモデルと区別し、言語知識の推論ではなく物理的ダイナミクスの予測を強調しています。GPTやGeminiが知識や言語に基づく外挿を行うのに対し、Emu3.5はマルチモーダルな動画や画像から現実世界の空間的および時間的ダイナミクスを学習し、即時の未来の状態を予測することに焦点を当てています。

評価のために文書、デモ、論文が公開される

リリースには、詳細な紹介や評価、公式モデルのウェブページ、インタラクティブ体験のためのオンラインデモ、Emu3.5の設計と性能を説明する研究論文が含まれています。これらのリソースは、検証と技術的レビューのために提供されています。

Source posts