NVIDIA T-Rex触觉机器人技术开源

NVIDIA与加州大学伯克利分校开源了T-Rex触觉机器人技术方法,该方法将触觉视为首要模态。其架构采用混合变换器,包含一个异步的慢速视觉运动专家和一个快速触觉专家,触觉专家以每个视觉时间步4个触觉时间步的频率运行。团队在HuggingFace上发布了50小时的触觉数据集(约5500个片段),该数据采集自一台拥有22个自由度的先进触觉手。训练方案扩展了EgoScale,利用人类自我中心视觉预训练和触觉机器人中间训练,以弥合无接触预训练与高接触操作之间的差距。
Key insights
T-Rex通过将高频触觉反馈集成到模型架构中推进机器人操作
NVIDIA与伯克利分校的T-Rex框架将触觉感知作为首要输入,其快速触觉专家以4倍于视觉的频率运行,以实时优化动作。此次发布的数据集是史上最大的触觉数据集(50小时,约5500个片段),来自一只22自由度的机械手。训练方法利用人类自我中心视频进行预训练,并利用触觉游戏进行中间训练,从而更好地完成高接触任务,弥补了视觉在接触瞬间失效的不足。