NVIDIA Spatial-IQ基准测试:多模态模型中的3D物体计数评估

NVIDIA研究团队推出了Spatial‑IQ,这是一项针对多模态模型3D物体计数能力的诊断基准测试。人类在包含隐藏块的图像上能达到82.1%的准确率,而表现最好的现成模型仅达到17.7%。Spatial‑IQ将任务分解为九项感知与认知子任务,并分别评分。在基于这些子任务训练Qwen2.5‑VL‑32B后,其物体计数准确率从2.9%提升至62.6%。
Key insights
Spatial‑IQ揭示多模态AI空间推理的关键短板
即使是最强大的多模态模型在该基准测试中也仅获得17.7%的分数,远低于人类表现。九项子任务从简单的列计数到推断被遮挡的支撑块,精准隔离了模型失败的原因,为诊断和修复空间理解能力提供了精确工具。