RoboColosseum 启动开放真实世界机器人评估计划

RoboColosseum 启动了一项开放机器人评估计划,在 140 多个真实场景中部署了 100 多台机器人,并向学术实验室提供 10,000 小时的免费评估时长。该平台在 20,000 多次运行中评估了五个 VLA 和三个前沿模型,策略排名因任务和机器人而异。所有 rollout 数据(包括失败案例)均已开源。
事件版本 1.
Key insights
大规模真实世界机器人集群
RoboColosseum 在 140 多个场景和数千个真实世界任务中部署了规模最大的专用机器人集群之一。该集群包括 Unitree G1、双臂 i2rt YAM、单臂 LeRobot SO-101 和 Franka 机器人,以及 frodobots Earth Rovers。
两条评估赛道
该平台设有两条评估赛道:盲测中的开放世界零样本性能,以及在固定开源数据集上微调后的分布内微调性能。在 20,000 多次运行中,策略排名因任务和机器人而异。
评估的模型
评估了五个 VLA:MolmoAct2、GR00T N1.7、π0.5、LingBot-VLA v2 和 G-0.5。还测试了三个前沿模型:GPT-6 Astra、Opus 5.5 和 Grok 4.7,评估人员在不同机器人本体上手动评判结果。
开放数据与免费评估时长
评估产生的所有 rollout 数据(包括失败案例)已在 Hugging Face 和 LeRobot 上开源。学术实验室可使用共享的 10,000 小时免费评估时长池。
创始合作伙伴
RoboColosseum 由四个创始合作伙伴领导:Hugging Face 和 LeRobot 托管 rollout 数据和模型检查点,BitRobotNetwork 负责真实世界部署运营,eaic_sg 提供真实场景环境访问,新加坡国立大学的 DJiafei 和 MAGIC Lab 制定研究方向。