NVIDIAがマルチビュー3D再構築向けのDéjà Viewループ型トランスフォーマーを発表

NVIDIAの研究者らは、単一のトランスフォーマーブロックを再帰的に適用することで、任意の数のビューからカメラポーズと高密度ジオメトリを再構築する1億1700万パラメータのモデル「Déjà View」を発表した。このモデルは5つのベンチマークにおいて、最大10倍の規模のフィードフォワードベースラインと同等以上の性能を、8~10分の1のパラメータ数と1.9~2.3分の1の計算量で達成し、絞り込みステップ数を推論時の計算量調整ノブとして公開している。本研究成果はNeurIPS 2026で口頭発表論文として採択され、論文とコードが公開された。
イベントのバージョン 1.
Key insights
単一のループ型ブロックが深度を代替
Déjà Viewは、ビューごとの特徴量に対して単一のトランスフォーマーブロックをK回の絞り込みステップにわたって再帰的に適用する。これにより、反復処理を独自のパラメータで獲得するのではなく、アーキテクチャ内で明示的に実現している。同一のループ型ブロックは、同一の訓練データと計算量の下で、ステップごとに独立したパラメータを持つ以外は同一の変種を上回る性能を示す。
推論時の計算量調整ノブ
Kは訓練中に範囲からバッチごとにサンプリングされるため、単一のチェックポイントで推論時にその範囲内の任意のステップ数をカバーできる。ユーザーは予算に合わせて計算量を増減できる。
小型モデルながら強力なベンチマーク性能
1億1700万パラメータのDéjà Viewは、全ベースライン中最小のパラメータ数で、5つのベンチマークすべてにおいて平均インライア比率とポーズAUC@30°で首位に立つ。π³やDepth Anything 3と比較して8~10分の1のパラメータ数と1.9~2.3分の1の計算量で済む。
手法と出力
ビューごとの特徴量は事前学習済みのDINOv2エンコーダから初期化され、2つの軽量ヘッドが最終状態をビューごとの深度マップとレイマップにデコードする。中間デコードでは、反復を重ねるごとにジオメトリがより鮮明になり、カメラポーズがより正確になることが示されている。
公開と入手可能性
本研究成果はNeurIPS 2026の口頭発表論文であり、論文、コード、インタラクティブビューア、BibTeXが公開されている。