XNews

世界モデルとロボティクス:ヤン・ルカンとDeepMindの視点

ヤン・ルカンはMetaを離れ、AMIを設立し、現実世界の知能に対してテキストのみのLLMアプローチよりも世界モデルを支持しています。

Key insights

世界モデル(JEPA)は物理的でマルチモーダルな理解を学ぶために必要である

ヤン・ルカンは、テキストのみで訓練されたLLMは物理世界の予測構造を捉えることができないと主張し、代わりに抽象的な埋め込み空間で予測する世界モデル(JEPA/I-JEPA)が必要であると述べました。彼は、入力とターゲットを埋め込みにエンコードし、その空間で予測するJEPAスタイルのアーキテクチャを説明し、予測不可能な低レベルのノイズをフィルタリングすることができるとしました。ヤンは、ビデオやセンサーデータがより密な学習信号を提供し、世界モデルアプローチがトークンベースのLLMよりも具現化されたタスクに効果的にスケールするだろうと主張しました。

オープンな研究と出版は内部の盲点を防ぐために不可欠である

ヤンは、閉鎖性が高まり、短期的な作業に向かうことを理由にMetaを離れたと述べました。彼はAMIが上流の研究を公開すると主張し、秘密主義が自己欺瞞を生み出し、画期的な成果を検証するために重要な科学的フィードバックを妨げると述べました。彼はFAIRの歴史的なオープン性(PyTorchの起源)をモデルとして挙げ、中国や他国からのオープンソースの貢献がこの分野を進展させることを称賛しました。ヤンは、透明な出版を科学的な必要性および内部のエコーチェンバーを避けるための実践的な規律と見なしています。

世界モデルはピクセル単位の予測ではなく、表現レベル全体での抽象化を可能にする

ルカンは抽象化の重要性を強調しました:科学は予測が扱いやすい表現層を選択することに依存しています。彼は、完全な物理シミュレーション(実現不可能)と層状の抽象化(CFD、材料モデル、エージェント)を対比させ、世界モデルは関連する潜在変数のみを予測すべきだと主張しました。彼は歴史的な進展(バーロー・ツインズ、VICReg、バレストリエロの研究)とI-JEPAを、予測や下流の制御タスクに適した埋め込み空間に向けたアルゴリズムの進展として挙げました。

AIリスクは主にエンジニアリングとガバナンスの問題であり、世界モデルシステムは厳格な安全制約を組み込むことができる

ヤンは、黙示録的な乗っ取りの物語を否定し、安全性をシステムレベルの制約によって対処できるエンジニアリングの問題として位置づけました。彼は、予測と制約最適化によって安全な不変条件を尊重する行動シーケンスを生成するアーキテクチャを提案し、これを脱獄に脆弱なLLMのファインチューニングアプローチと対比させました。彼は、安全な具現化されたエージェントを構築することは、明示的なアーキテクチャ制約と慎重な展開を通じて実現可能であると主張しました。

実用的なロボティクスの進展にはスケーラブルなデータ、シミュレーション、マルチモーダル入力が必要である

DeepMindのロボティクスに関する議論では、強化学習が移動/コントローラーの問題を解決し、LLMが高レベルの計画を提供することが必要であると強調されました。ロボティクスのリーダーは、データの不足と体間の動きの転送が中心的な課題であると述べました。彼は、動きの転送とシミュレーション生成データをロボット学習をスケールさせる技術として挙げ、柔軟なエンドエフェクターを使用する際の巧妙な操作において触覚センサーの重要性が増していると強調しました。

Source posts