XNews

世界モデルとマルチモーダル予測の進展

世界モデルとマルチモーダル予測の進展

世界モデルの研究とネイティブマルチモーダル予測が急速に進展しています。

Key insights

ヤン・ルカン、Metaを離れAMIを設立し世界モデルを推進

ヤン・ルカンは65歳でMetaを離れ、パリにAdvanced Machine Intelligence(AMI)を設立しました。Metaの閉鎖性と短期的な焦点の増大を理由に挙げています。彼はLLM(大規模言語モデル)だけの道を批判し、テキストに基づいて訓練されたLLMは、必要な空間的・時間的データが欠如しているため、人間レベルの現実世界の知能に到達できないと主張しています。ルカンは、Joint Embedding Predictive Architectures(JEPA/I‑JEPA)を通じて実装された世界モデルを支持し、AMIが上流の研究を公開しながら製品を構築することを約束しています。

Emu3.5がマルチモーダル入力を統一し次の世界状態を予測

北京の研究所は、画像、テキスト、動画を統一されたトークンストリームにトークン化し、次のトークン/状態(NSP)を予測することで訓練するマルチモーダル世界モデルEmu3.5を発表しました。Emu3.5は、次のトークン予測が次の視覚的または言語的世界状態の予測に対応するようにタスクを再構成し、単一のモデル内で空間的推論、時間的ダイナミクス、クロスモーダルの連続性を可能にします。

世界モデルとピクセル/テキスト予測:JEPAと表現予測

ルカンとその共同研究者は、世界モデルはピクセルやトークンレベルではなく、抽象的な表現空間で予測すべきだと主張しています。JEPAスタイルのアプローチは、XとYを埋め込みにエンコードし、将来の埋め込みを予測します。これにより、予測不可能な低レベルのノイズがフィルタリングされます。引用された開発には、バーロー・ツインズ、VICReg、SigReg、I‑JEPAのバリアントが含まれ、等方的なエンコーダ出力を保証します。これらの技術は数十年にわたり洗練され、最近では動画やマルチモーダル予測タスクに適用されています。

ネイティブマルチモーダルトランスフォーマーがテキストと指示の追従を改善

Nano Banana Proやgpt-image-1のようなネイティブマルチモーダルトークンイン/トークンアウトモデルは、画像ピクセルとテキストを共有ベクトルとして扱います。これにより、モデルは画像内に読みやすい漢字を「書く」ことができ、ピクセルとしてストロークを近似するのではなくなります。その結果、文字エラー率が大幅に低下し、拡散ベースのピクセルモデルと比較して画像内の指示の追従が改善されます。

DeepSeek‑V3.2:効率的な推論のためのスパースアテンションと専門家の蒸留

DeepSeek‑V3.2は、長い入力の複雑さを減少させるDeepSeek Sparse Attention(DSA)メカニズムを導入し、専門家モデルと知識蒸留を通じて訓練し、約1800のシナリオからなる大規模な合成シミュレーションタスクスイートを使用してエージェントの訓練を行います。論文は、推論とエージェントベンチマークにおいて閉じたモデルと同等または優越していることを報告し、計算コストを削減しています。

Runwayが動画と環境シミュレーションのためのGen 4.5およびGWM1世界モデルをリリース

Runwayは、オリジナルの音声生成/編集とキャラクターと照明の一貫性を保ったマルチショット動画編集のためのALFを備えたGen 4.5動画モデルを発表しました。また、ユーザーの介入をサポートするフレームごとの予測のための自己回帰型世界モデルGWM1、リアルタイム環境シミュレーションのためのGWM Worlds、高忠実度の音声駆動動画生成のためのGWM Avatars、ロボットポリシー評価のための成功と失敗をシミュレートするGWM Roboticsもリリースしました。

Source posts