NVIDIA Lyra 2.0 可从单张图像生成可探索的3D世界

NVIDIA 研究人员发布了 Lyra 2.0,这是一个将单张图像转化为可探索3D世界的框架,方法是生成相机控制的漫游视频,并通过前馈重建将其提升为3D。该方法维护逐帧3D几何以进行信息路由,从而对抗空间遗忘,并使用自增强训练来纠正时间漂移,从而实现更长且3D一致的轨迹。论文、模型权重和推理代码均已公开,GUI 和训练代码于2026年7月15日发布。
事件版本 1.
Key insights
单图像到可探索3D世界
Lyra 2.0 将单张输入图像转化为用户可沿选定相机路径探索的3D世界。它结合视频生成与前馈3D重建,从生成的漫游中生成环境。
通过几何路由解决空间遗忘
该框架维护逐帧3D几何,并仅将其用于信息路由,检索相关过去帧并与目标视点建立密集对应关系。外观合成依赖于生成先验。
通过自增强训练纠正时间漂移
Lyra 2.0 使用自增强历史进行训练,使模型接触自身退化的输出,教会其纠正漂移而非传播漂移。这支持更长且3D一致的视频轨迹。
输出可导出至仿真引擎
生成的视频可提升为3D高斯泼溅和网格,并可导出至物理引擎。示例包括将场景导出至 Isaac Sim,用于物理基础的机器人导航和交互。
代码和权重的公开发布
论文、模型权重和推理代码均已公开。4步 DMD 蒸馏 LoRA 于2026年4月17日发布,GUI 和训练代码于2026年7月15日发布。