RoboColosseum、オープンな実世界ロボット評価イニシアチブを開始

RoboColosseumは、140以上の実環境シーンにわたる100台以上のロボットを用いたオープンなロボット評価イニシアチブを開始し、学術研究室に10,000時間の無料評価時間を提供する。プラットフォームは5つのVLAと3つのフロンティアモデルを20,000回以上の実行で評価し、ポリシーのランキングはタスクとロボットによって異なった。失敗を含むすべてのロールアウトデータがオープンソース化されている。
イベントのバージョン 1.
Key insights
大規模な実世界フリート
RoboColosseumは、140以上のシーンと数千の実環境タスクにわたる、最大級の専用ロボットフリートの一つを展開した。フリートにはUnitree G1、両腕型i2rt YAM、単腕型LeRobot SO-101とFrankaロボット、frodobots Earth Roversが含まれる。
2つの評価トラック
プラットフォームには2つの評価トラックがある。ブラインドテストにおけるオープンワールドのゼロショット性能と、固定されたオープンソースデータセットでファインチューニングした後の分布内性能のファインチューニングである。20,000回以上の実行にわたり、ポリシーのランキングはタスクとロボットによって異なった。
評価されたモデル
5つのVLAが評価された:MolmoAct2、GR00T N1.7、π0.5、LingBot-VLA v2、G-0.5。さらに3つのフロンティアモデルもテストされた:GPT-6 Astra、Opus 5.5、Grok 4.7であり、評価者は異なるロボット embodiment にわたる結果を手動で判定した。
オープンデータと無料評価時間
評価からのすべてのロールアウトデータは、失敗を含め、Hugging FaceとLeRobot上でオープンソース化されている。10,000時間の無料評価時間の共有プールが学術研究室に利用可能である。
創設パートナー
RoboColosseumは4つの創設パートナーによって主導されている:Hugging FaceとLeRobotはロールアウトデータとモデルチェックポイントをホストし、BitRobotNetworkは実世界展開運用を実行し、eaic_sgは実環境へのアクセスを提供し、DJiafeiとNUSのMAGIC Labが研究方針を設定する。