ロボティクスと具現化された世界モデル:ジェミニロボティクス、Emu3.5およびロボットデータ

ロボティクスの世界モデルとの統合は、多モーダルトレーニング、動作転送、シミュレーション駆動のデータセットを通じて進展しています。
Key insights
シェーン・レッグは2028年までに最小限のAGIの50%の確率を示唆
シェーン・レッグは、典型的な人間の認知タスクを実行できる最小限のAGIが2028年までに達成される確率は50%であると述べています。彼は、持続的な学習、視覚的推論、エピソード記憶の改善の必要性を強調し、具現化された相互作用と倫理を考慮したアプローチによる緩和を支持しています。
DeepMindのロボティクス研究がLLM計画とRL制御を統合
DeepMindのロボティクス研究では、言語能力を持つプランナーとRLベースの低レベルコントローラーを組み合わせることが説明されています:計画のための「大脳」(VLA/GPTスタイル)と運動制御のための「小脳」です。ジェミニロボティクス1.5は、テキストベースの内部推論、身体間の動作転送、ロボットの一般化を拡大するために大規模なシミュレーションおよびビデオデータセットへの依存を導入しています。
Emu3.5が統一された多モーダル「次の状態予測」世界モデルを提案
北京の機関からのEmu3.5は、テキスト、画像、ビデオを次の世界状態(視覚的またはテキスト的)を予測するために訓練されたトークンストリームに統合します。このアーキテクチャは、次のトークン予測を世界の次の瞬間を予測することとして枠組み、予測と計画のためのクロスモーダルな時間的連続性を可能にします。
データとシミュレーションはロボティクスのスケールにおける主要なボトルネック
ロボティクス研究者は、データ収集コストを主要な障壁として指摘しています。解決策には、スケーラブルなシミュレーションデータ、多様なロボットの身体からの転送(動作転送)、および具現化モデルのトレーニングデータセットをブートストラップするための合成ビデオ生成が含まれます。