NVIDIA Spatial-IQ ベンチマーク:マルチモーダルモデルにおける3D物体計数

NVIDIA Researchは、マルチモーダルモデルにおける3D物体計数のための診断ベンチマーク「Spatial‑IQ」を発表した。人間は隠れたブロックを含む画像で82.1%の精度を達成する一方、市販の最良モデルは17.7%にとどまる。Spatial‑IQはタスクを9つの知覚・認知サブタスクに分解し、それぞれを個別にスコアリングする。これらのサブタスクでQwen2.5‑VL‑32Bを訓練したところ、物体計数精度が2.9%から62.6%に向上した。
Key insights
Spatial‑IQはマルチモーダルAIの空間推論における重大なギャップを明らかにする
最も強力なマルチモーダルモデルでもベンチマークで17.7%のスコアにとどまり、人間の性能を大きく下回った。9つのサブタスクは、単純な列の計数から遮蔽された支持ブロックの推論に至るまでの失敗を切り分け、空間理解を診断・修正するための精密な手段を提供する。