XNews

Robbyant、オープンソースの触覚基盤モデル「LingBot-Touch」を公開

Robbyant、オープンソースの触覚基盤モデル「LingBot-Touch」を公開

Robbyantは、約5,000時間の実触覚データで事前学習したオープンソースの触覚基盤モデル「LingBot-Touch」を公開した。JEPAベースのモデルは共有Haptic Transformerを用いて磁気式、ピエゾ抵抗式、視覚触覚信号を統合し、26の実ロボットタスクにおいて4つの行動モデル全体で平均タスク成功率を約14~26ポイント向上させた。

イベントのバージョン 1.

Key insights

異種触覚の統合アーキテクチャ

LingBot-Touchは、JEPAベースの潜在予測と共有Haptic Transformerを用いて、磁気式、ピエゾ抵抗式、視覚触覚信号を統合的にモデル化する。入力を統一された触覚トークンとしてエンコードすることで、マルチセンサー統合と下流の行動モデル向けの再利用可能な特徴を実現する。

4つの行動モデルにおける実ロボットでの改善

評価は、力制御、変形、視覚遮蔽、両手協調を含む26の実ロボットタスクを対象とし、Sharpa WaveとXHandの巧緻ハンドを使用した。LingBot-VLA、π0.5、Diffusion Policy、T-Rexの各モデルにおいて、触覚なしのベースラインと比較して平均タスク成功率が約14~26ポイント向上した。

シミュレーション結果とスケーリング

Sharpa WaveとXHandにおける全12のシミュレーションタスクで、LingBot-Touchは最高の成功率と累積リターンを達成した。事前学習データが約5,000時間に増加するにつれ、Smallバリアントは触覚知覚テストで改善を続けた。

2つのオープンソースモデルサイズ

オープンソースのTinyおよびSmallバリアントは、表現能力と高頻度触覚知覚のための軽量展開のバランスを取る。HaT-Tinyエンコーダは546万パラメータを持つ。

事前学習コーパスの構成

事前学習コーパスは4,983時間の記録、464,431のインタラクションエピソード、約13.3億フレームで構成される。内訳はピエゾ抵抗式2,197時間、磁気式1,136時間、視覚触覚1,650時間である。

Source posts