XNews

DeepMindロボティクスのインタビューとキャリアの洞察

DeepMindロボティクスのインタビューとキャリアの洞察

DeepMindのロボティクスリーダーがGemini Robotics 1.5とロボティクスの課題について議論しました。

Key insights

ロボティクスにおける二つのパラダイムシフト:RLとLLMs

インタビューでは、ロボティクスの進展が二つの主要なパラダイムシフトを通じて実現されたことが述べられています。強化学習(RL)が移動と基本的な制御を可能にし、大規模言語モデル(LLMs)が計画と高次の推論を提供しています。この説明は、RLが歩行と動作制御の民主化を促進し、LLMsを複雑な多段階タスクの「脳」と位置付けています。

Gemini Robotics 1.5が明示的な「思考」とテキストプランを追加

Gemini Robotics 1.5は、ロボットが行動する前にテキスト形式の中間「思考」を生成する能力を導入しました。このプロトコルは、段階的なテキスト計画(例:色を特定し、配置を決定する)を出力し、システムが多段階タスクを処理できるようにし、人間がロボットの推論を安全性とデバッグのために検査できるようにします。

モーショントランスファーがボディ間データ再利用を可能にする

チームは、あるロボットのデータを別のロボットのトレーニングに使用できる「モーショントランスファー」手法を報告しました。これにより、クロスプラットフォームの一般化が可能になります(例:デスクトップAlohaがFrankaのデータと混合後に垂直書籍の取得を学習)。この手法は、ロボットタイプ間のデータ不足に対処します。

スケーラビリティは合成データとシミュレーションデータに依存

DeepMindは、実際のロボットデータ収集が大規模でコストがかかるため、大規模シミュレーション、公共のビデオ(YouTube)、ビデオ生成モデルなどのスケーラブルなデータソースを強調しています。インタビューでは、コストを定量化し、手動収集をシミュレーションと生成データに置き換えることを提案しています。

ワールドモデルとタッチは次の研究の優先事項

インタビューでは、「ワールドモデル」(視覚-言語-視覚予測)がVLAモデルへの補完的な方向性として位置付けられ、特に微細な接触フィードバックを必要とするタスクにおいて、巧妙な手の操作に不可欠なタッチ/触覚センシングが強調されています。

ロボティクスの一般化と展開に関するタイムラインの見積もり

インタビュー対象者は、ロボティクスにおける近い「GPTの瞬間」が2〜3年後に訪れると予測し、製造、物流、スーパーマーケットにおける垂直産業の展開が5年後、より広範な家庭への進出が10年後になると見積もっていますが、現在の能力は不均一であることに注意を促しています(移動は進んでいるが、操作は遅れています)。

Source posts