世界モデルとロボティクス — ヤン・ルカンとディープマインド

ヤン・ルカンはMetaを離れ、AMIを設立し、LLMのみのアプローチよりも世界モデルとJEPAスタイルのアプローチを支持しています。彼はテキストのみのLLMでは現実世界のダイナミクスを捉えられないと主張し、効率的な世界予測のための共同埋め込み予測アーキテクチャ(JEPA/I-JEPA)と層状抽象化の重要性を強調し、ビデオおよびマルチモーダルトレーニングを不可欠なものとして位置付けました。ディープマインドとグーグルロボティクスの研究は、VLA(視覚-言語-行動)とシミュレーションデータの組み合わせ、ロボットボディ間の動作転送、スケーラブルなロボットデータ(シミュレーション + YouTube + 生成データ)の必要性を強調しました。RunwayとEmu3.5のリリースも、ビデオ/世界予測モデルとリアルタイムビデオ編集の進展を示しました。
Key insights
ルカン:現実世界の知能にはLLMのみでは不十分
ヤン・ルカンはMetaを離れAMIを設立したことを発表し、LLM中心のアプローチではテキストだけから現実世界のダイナミクスを学ぶことができないと主張しました。彼は、確率的な低レベルの詳細を無視するために抽象的な埋め込み空間で予測を行う世界モデルアーキテクチャ(JEPA/I-JEPA)を推進し、ビデオおよびマルチモーダルトレーニングがテキストよりも豊かで密度の高い学習信号を提供することを指摘しました。
ロボティクス:VLA + シミュレーション + 動作転送によるクロスプラットフォームスキル
ディープマインドとグーグルロボティクスの研究者は、視覚-言語-行動モデルとシミュレーションデータ、動作転送技術を組み合わせて、ボディ間の一般化を可能にすることを説明しました。ジェミニロボティクス1.5は、ロボットの計画に対するテキストの「思考」トレースを導入し、異なるロボットボディ間でスキルを共有するための動作転送を強調し、巧妙なタスクのための触覚/力のモダリティを重視しました。
Emu3.5とRunway GWM:次の状態予測のためのマルチモーダル世界モデル
北京研究所のEmu3.5は、テキスト、画像、ビデオにわたる「次の世界状態」の統一トークン予測としてマルチモーダル学習を位置付けました。Runwayは、フレームレベルの予測、リアルタイムで編集可能なアバター、失敗シナリオを含むロボティクスに特化したシミュレーション環境を提供するGWMファミリー(GWM1、GWM Worlds、GWM Robotics)をリリースしました。
データとスケーラビリティがロボティクスの主要なボトルネック
ロボティクスチームは、データコストがボトルネックであることを強調しました。物理的なロボットデータの収集はスケールで高価であり、戦略にはスケーラブルなシミュレーション、人間のビデオ(YouTube)の活用、合成データ生成(ビデオモデル)を含め、現実世界の一般化に必要な幅を提供することが含まれます。