XNews

NVIDIA、触覚ロボティクス「T-Rex」をオープンソース化

NVIDIA、触覚ロボティクス「T-Rex」をオープンソース化

NVIDIAとカリフォルニア大学バークレー校は、触覚を第一級のモダリティとして扱う触覚ロボティクス手法「T-Rex」をオープンソース化した。このアーキテクチャは、非同期の低速視覚運動エキスパートと、視覚の1ティックあたり4回の触覚ティックで動作する高速触覚エキスパートを組み合わせた混合トランスフォーマーを採用している。研究チームは、22自由度の最先端触覚ハンドで収集した50時間分の触覚データセット(約5,500エピソード)をHuggingFace上で公開した。トレーニング手法はEgoScaleを拡張し、人間の自己中心視点ビデオによる事前学習と、触覚ロボットプレイによる中間学習を組み合わせることで、接触のない事前学習から接触を伴う操作への橋渡しを実現している。

Key insights

T-Rexが高周波触覚フィードバックをモデルアーキテクチャに統合し、ロボット操作を進化させる

NVIDIAとバークレー校のT-Rexフレームワークは、触覚センシングを第一級の入力として扱い、視覚の4倍の速度で動作する高速触覚エキスパートがリアルタイムに動作を微調整する。今回のリリースには、22自由度のハンドで収集された過去最大の触覚データセット(50時間、約5,500エピソード)が含まれる。トレーニング手法は、人間の自己中心視点ビデオによる事前学習と触覚プレイによる中間学習を活用し、接触を伴うタスクをより効果的に実現する。これにより、接触の瞬間に視覚が機能しなくなるという課題に対処している。

Source posts