Robbyant发布LingBot-Touch开源触觉基础模型

Robbyant发布了LingBot-Touch,这是一个开源触觉基础模型,基于近5,000小时的真实触觉数据预训练而成。该模型基于JEPA架构,采用共享的Haptic Transformer统一磁式、压阻式和视觉触觉信号,在26项真实机器人任务上,使四种动作模型的平均任务成功率提升了约14至26个百分点。
事件版本 1.
Key insights
统一的异构触觉架构
LingBot-Touch利用基于JEPA的潜在预测和共享Haptic Transformer,对磁式、压阻式和视觉触觉信号进行联合建模。它将输入编码为统一的触觉token,从而实现多传感器集成,并为下游动作模型提供可复用的特征。
四种动作模型在真实机器人上的性能提升
评估覆盖了26项真实机器人任务,涉及力控制、形变、视觉遮挡和双手协调,使用Sharpa Wave和XHand灵巧手。在LingBot-VLA、π0.5、Diffusion Policy和T-Rex上,平均任务成功率相较无触觉基线提升了约14至26个百分点。
仿真结果与扩展性
在Sharpa Wave和XHand上的全部12项仿真任务中,LingBot-Touch取得了最高的成功率和累计回报。随着预训练数据增长至近5,000小时,Small变体在触觉感知测试中持续提升。
两种开源模型规模
开源的Tiny和Small变体在表征能力与轻量部署之间取得平衡,适用于高频触觉感知。HaT-Tiny编码器拥有546万参数。
预训练语料构成
预训练语料包含4,983小时的记录、464,431个交互片段和约13.3亿帧。其中包括2,197小时压阻式数据、1,136小时磁式数据和1,650小时视觉触觉数据。