Bifrost、動画から約30分でフォトリアルな3D環境を再構築するreal2simパイプラインを発表

Bifrostは、産業施設や実験室の単一の動画から、約30分で完全にナビゲーション可能なフォトリアルな3D環境を生成するreal-to-simulationパイプラインをリリースした。従来の手動モデリングに要する12時間以上を大幅に短縮する。このスタックは3D Gaussian Splattingを採用し、高密度な視点依存の放射輝度場を実現。従来のメッシュ再構築を必要とせず、リアルタイムレンダリングを可能にする。アーティキュレーションされたアセット生成はTRELLISやArticraftなどのモデルを基盤とし、オブジェクトを抽出して、正しい衝突形状、ジョイント、物理特性を持つシミュレーション対応アセットに変換する。ドメインランダム化を伴うGPUオーケストレーションにより、再照明、障害物、マルチセンサーシミュレーション(RGB、深度、セグメンテーション、6-DoF姿勢)が可能となる。生成されたデジタルツインは、Manifold上で数千の並列ロールアウトによる即時のロボットポリシーテストをサポートし、計算速度で障害モードを表面化する。DeLoreanガレージデモは公開ティーザーであり、本パイプラインは既に工場セル、倉庫、操作ベンチマークで使用されている。