XNews

NVIDIA Research 推出 LidarVerse 实时统一激光雷达世界模型

NVIDIA Research 推出 LidarVerse 实时统一激光雷达世界模型

NVIDIA Research 推出了 LidarVerse,这是一个实时统一的激光雷达世界模型,能够模拟跨不同传感器和任务的扫描。该模型可从新视角重建驾驶场景、根据高清地图生成场景,并预测未来的传感器观测,在单块 H100 GPU 上以 10 FPS 运行。它支持 32 线、64 线和 128 线激光雷达配置,并随论文、代码和检查点一同发布。

事件版本 1.

Key insights

跨仿真范式的统一模型

LidarVerse 将生成式和基于重建的激光雷达仿真结合为一个条件世界模型。推理机制由可用的场景证据决定,而非依赖单独的架构或预测头。

实时性能

蒸馏后的因果检查点在单块 H100 GPU 上以 10 FPS 运行。通用激光雷达分词器支持 32 线、64 线和 128 线传感器。

三种仿真模式

同一个因果检查点可执行基于场景级条件的新世界生成、基于观测到的激光雷达前缀的点云预测,以及由持久空间缓存锚定的基于重建的重仿真。

跨传感器生成

经过联合适配后,一个模型可从同一 Waymo 高清地图为 32 线 nuScenes、64 线 Waymo 和 128 线 NVIDIA PAI 生成不同的扫描模式。

系统架构

该系统包括一个完全基于注意力的距离图像分词器、一个从 Cosmos-Transfer2.5-2B 初始化的流匹配 DiT 教师模型、一个四步因果学生模型,以及时间和空间记忆缓存。

Source posts