XNews

NVIDIA Lyra 2.0、単一画像から探索可能な3D世界を生成

NVIDIA Lyra 2.0、単一画像から探索可能な3D世界を生成

NVIDIAの研究者らは、単一の画像をカメラ制御されたウォークスルー動画の生成とフィードフォワード再構成による3D化を通じて、探索可能な3D世界に変換するフレームワーク「Lyra 2.0」を公開した。この手法は、空間的忘却に対抗するための情報ルーティングにフレームごとの3Dジオメトリを維持し、時間的ドリフトを補正する自己拡張トレーニングを用いることで、より長く3D整合性のある軌跡を可能にする。論文、モデルの重み、推論コードは公開されており、GUIとトレーニングコードは2026年7月15日にリリースされた。

イベントのバージョン 1.

Key insights

単一画像から探索可能な3D世界へ

Lyra 2.0は、単一の入力画像を、ユーザーが選択したカメラパスに沿って探索できる3D世界に変換する。動画生成とフィードフォワード3D再構成を組み合わせ、生成されたウォークスルーから環境を生成する。

ジオメトリルーティングによる空間的忘却への対処

このフレームワークはフレームごとの3Dジオメトリを維持し、それを情報ルーティングのみに使用して、関連する過去のフレームを取得し、ターゲット視点との密な対応を確立する。外観の合成は生成事前分布に依存する。

自己拡張トレーニングによる時間的ドリフトの補正

Lyra 2.0は、モデルを自身の劣化した出力に晒す自己拡張履歴を用いてトレーニングし、ドリフトを伝播させるのではなく補正することを学習させる。これにより、大幅に長く3D整合性のある動画軌跡をサポートする。

シミュレーションエンジンへエクスポート可能な出力

生成された動画は3Dガウシアンスプラットとメッシュに変換でき、物理エンジンにエクスポートできる。例として、物理的に根拠のあるロボットナビゲーションとインタラクションのためにシーンをIsaac Simにエクスポートする事例がある。

コードと重みの公開

論文、モデルの重み、推論コードは公開されている。4ステップのDMD蒸留LoRAは2026年4月17日にリリースされ、GUIとトレーニングコードは2026年7月15日にリリースされた。

Source posts