ロボティクスと世界モデル — 具現化されたAIと知覚-行動モデル

ロボティクスの専門家たちは、家庭用ロボットが依然として稀な理由を振り返り、最近の進展を説明しました。GoogleのGemini Robotics 1.5は、「考えてから行動する」VLA手法を統合しており、ロボットは運動実行の前にテキストプランを生成し、内部の推論を明らかにします。モーショントランスファーは、異なるロボットボディがデータを再利用できるようにクロスプラットフォームのスキル共有を可能にします。データの不足が主なボトルネックであり、チームはシミュレーション、YouTubeビデオ、合成データを活用してスケールします。タッチ/力のモダリティは巧妙なタスクにおいて重要性を増しており、視覚は単純なグリッパーには十分ですが、微細な操作にはタッチが不可欠です。北京智源のEmu3.5は、画像、ビデオ、テキストを通じて「次の世界状態」トークンを予測する統一された多モーダル世界モデルを提案しています。
Key insights
考えてから行動するVLAが解釈可能性と多段階タスク性能を向上させる
Google DeepMindのロボティクスグループは、直接的な知覚から行動へのポリシーから、運動コマンドの前に明示的なテキストプランを生成する視覚-言語-行動(VLA)エージェントへの移行を説明しました。このアプローチには、マルチステップタスクの分解が改善され、安全性とデバッグを助ける人間が読み取れる内部状態が得られるという2つの利点があります。
モーショントランスファーがボディ間のスキル再利用を可能にする
チームは、あるロボットプラットフォームで収集されたスキルデータが異なる具現化における制御ポリシーに情報を提供するモーショントランスファー技術を報告しました。これにより、ロボットごとのデータコストが削減され、ロボットタイプ間での共有表現と転移学習が可能になります。
データが主なボトルネック; シミュレーションと合成ビデオがスケーリングの道
ロボティクスのリーダーたちは、物理ロボットデータの高い限界コストと、スケーラブルなソースの必要性を強調しました。大規模シミュレーション、公共のビデオ(例:YouTube)の活用、合成ビデオ生成を利用して多様なトレーニングシーンと行動を作成することが求められています。
触覚センサーが巧妙な操作にとって重要になる
視覚が多くの粗い把持と配置タスクには十分である一方で、リーダーたちは、巧妙な手を使った微細な操作には触覚/力のフィードバックが不可欠であると報告しました。ハサミや繊細な物体の整列などのタスクには、制御ループ内での触覚モダリティが必要です。
Emu3.5と世界モデルアプローチがモダリティ間で「次の世界状態」を予測することを目指す
北京の研究所は、ビデオ、画像、テキストを統一されたトークンにトークン化し、次の世界状態トークンを予測するために訓練される多モーダル世界モデルEmu3.5を発表しました。これは、モダリティ間での知覚とダイナミクスを統一し、物理的推論を改善することを目指しています。
近い将来のロードマップ: 家庭用の普及前にドメイン特化型の展開
リーダーたちは、製造や物流などの分野で一般化可能なロボットを実用化するためのさらなる能力向上が2〜3年内に見込まれると予測しており、家庭用ロボティクスは後に到来するとしています。このタイムラインは、即時の家庭用ロボットではなく、ドメインごとの進行的な展開を強調しています。