XNews

NVIDIA发布Déjà View循环Transformer,用于多视角3D重建

NVIDIA发布Déjà View循环Transformer,用于多视角3D重建

NVIDIA研究人员推出了Déjà View,这是一个拥有1.17亿参数的模型,通过循环应用单个Transformer块,从任意数量的视角重建相机位姿和密集几何。该模型在五个基准测试中匹配或超越了参数量最多大10倍的前馈基线,同时使用的参数少8–10倍,计算量少1.9–2.3倍,并且细化步骤数可作为推理时的计算调节旋钮。该工作被NeurIPS 2026接收为口头报告论文,论文和代码已发布。

事件版本 1.

Key insights

单个循环块取代深度

Déjà View对每个视角的特征循环应用一个Transformer块,进行K次细化步骤,使迭代在架构中显式化,而不是通过独特的参数来换取。在匹配的训练数据和计算量下,同一个循环块优于一个其他方面相同但每步参数独立的变体。

推理时的计算调节旋钮

训练时K从每个批次的某个范围内采样,因此单个检查点在推理时可覆盖该范围内的任意步骤数。用户可以根据预算调高或调低计算量。

小模型,强基准

在1.17亿参数下,Déjà View在所有五个基准测试中平均内点率和位姿AUC@30°领先,且参数数量是所有基线中最少的。与π³和Depth Anything 3相比,它使用的参数少8–10倍,计算量少1.9–2.3倍。

方法与输出

每个视角的特征由预训练的DINOv2编码器初始化,两个轻量级头将最终状态解码为每个视角的深度图和射线图。中间解码显示,随着迭代进行,几何逐渐更清晰,相机位姿更准确。

发表与可用性

该工作是NeurIPS 2026的口头报告论文,论文、代码、交互式查看器和BibTeX均已发布。

Source posts