XNews

ロボティクスと世界モデル:シミュレーションから現実世界のエージェントへ

ロボティクスと世界モデル:シミュレーションから現実世界のエージェントへ

ロボティクス研究は、現実世界のエージェントを改善するために言語、視覚、シミュレーションを統合しています。

Key insights

LLM計画とRL制御の統合がロボット能力を推進

ロボティクスグループは、LLMまたはVLAモデルが高レベルの計画、指示の分解、自然言語による説明を提供し、RLと制御スタックが正確なモーター実行を処理する二層アプローチを説明しています。この分割により、ロボットは計画の「思考」と学習した実行プリミティブを組み合わせることで、複数のステップからなる家庭や産業のタスクを処理できるようになります。

世界モデルとEmu3.5が次のフレーム推論のための多モーダル予測を統一

Emu3.5は、マルチモーダル入力(画像、テキスト、ビデオ)を統一トークンとしてフレーム化し、モデルを「次の世界状態」を予測するように訓練します。この次トークンアプローチは、視覚と言語のモダリティを超えて一般化され、具現化されたエージェントのシーンダイナミクスの予測を改善することを目指しています。

モーション転送とシミュレートデータがロボットごとのデータコストを削減

チームは、あるロボットボディのモーションデータセットが他のロボットに情報を提供し、データの再利用を改善するモーション転送技術を報告しています。物理データの高コストを考慮し、研究者はシミュレーション、YouTubeビデオのマイニング、合成データ生成をロボット学習をブートストラップするためのスケーラブルなソースとして強調しています。

触覚センサーが巧妙な操作において重要性を増す

研究者は、視覚が多くのグリッパータスクに十分である一方で、巧妙な手の操作(ハサミ、繊細な物体)には触覚モダリティが必要であることを強調しています。将来のロボットシステムは、より細かな制御のために視覚と言語とともに触覚データを統合するでしょう。

タイムライン:広範な家庭採用前の垂直展開

専門家は、2〜5年以内にロボットが実用的な垂直展開(製造、物流、小売)に到達し、一般化された能力を持つようになると予測しています。一方、広範な家庭採用と堅牢な一般的な家庭用ロボットは、現在の巧妙さ、データ、信頼性のギャップを考慮すると、10年のホライズンに留まります。

Source posts