XNews

ロボティクスと世界モデル:ジェミニロボティクスとエミュー3.5

ロボティクスと世界モデル:ジェミニロボティクスとエミュー3.5

DeepMindと北京のグループがロボットの認知、世界モデル、マルチモーダル予測に関する進展を発表しました。 - DeepMindのロボティクス担当者は、シミュレーションの成功と実世界のロボットの信頼性のギャップを説明しました。 - ジェミニロボティクス1.5は、テキストによる「思考」出力と動作転送を追加し、ロボット間のスキル共有を可能にしました。 - 動作転送は、1つのロボットの形態からのデータを他のロボットに活用し、データ不足に対処します。 - DeepMindはデータコストの重要性を強調し、トレーニングのためにスケーラブルなシミュレーションおよび生成データソース(YouTube、生成されたビデオ)を推奨しています。 - 精巧な手作業において触覚センサーの重要性が増しています。視覚は粗い把持には十分ですが、細かな操作には不十分です。 - タイムラインの見積もり:顕著なブレークスルーには2〜3年、垂直展開には5年、広範な家庭での普及には10年が必要です。 - エミュー3.5(北京)は、画像/テキスト/ビデオをトークン化し、「次の世界状態」(NSP)を予測するために訓練された統一されたマルチモーダル世界モデルです。これにより、モダリティを超えた次のフレーム/世界の予測が可能になります。 - エミュー3.5は、生成をモダリティ特有の出力ではなく、次のトークンの世界予測として再定義します。

Key insights

ジェミニロボティクス1.5は明示的な「思考」とクロスモルフォロジー転送を追加

DeepMindのロボティクスの取り組みは、ロボットが人間が読み取れる中間的な推論を生成するために、運動出力の前にテキスト計画/「思考」段階を組み込んでいます。ジェミニロボティクス1.5は、1つのロボットの体からのデータが別のロボットに情報を提供できる動作転送技術を含んでおり、プラットフォームごとのデータ要件を削減しています。チームは、読みやすい内部ステップを追加することで、複数のステップのタスク処理と透明性が向上することを強調しました。

データ不足が実世界のロボティクスの中心的なボトルネックとして残る

DeepMindは、ロボットのデータ収集が高価であり、現在はスケーラブルではないと強調しました。見積もりには、大規模なハードウェア、人間のテレオペレーション、メンテナンスコストが含まれます。チームは、ギャップを埋めるために、シミュレーション、インターネットビデオ、生成データなどのスケーラブルなソースの使用を主張しています。動作転送とシミュレーションの忠実度は、広範なロボティクスの一般化にデータを実用的にするための核心戦略として説明されています。

世界モデルはマルチモーダルの連続性のために統一されたトークン予測にシフト

エミュー3.5は、画像、テキスト、ビデオをトークンに変換し、次の状態予測(NSP)を実行するためにモデルを訓練する統一されたマルチモーダルアプローチを示しています。エミュー3.5は、次のトークンの予測を次の世界状態(視覚的またはテキスト的)の予測として扱い、モダリティを超えた時間的推論と予測を可能にします。このアーキテクチャは、モダリティを超えた物理学、因果関係、時間的進化を学ぶことを目指しています。

触覚センサーは精巧な操作において重要性が増す

DeepMindは、視覚が多くの把持タスクに十分である一方で、精巧な手作業(例:はさみ、小さな物体)には触覚フィードバックが必要であると指摘しました。チームは、ロボットのマニピュレーターが単純なグリッパーから多指の器用さへと進化するにつれて、触覚が必要になることを観察しました。

開発者は10年スケールで段階的な実世界の影響を期待

インタビューを受けた人々は、顕著なブレークスルーには2〜3年、物流/製造/小売における垂直展開には5年、広範な家庭での採用には約10年が必要であると述べました。彼らは、公共のデモがしばしば選りすぐりの成功を示すことに注意を促し、一般的な信頼性は生産の閾値を下回っていると警告しました。

Source posts