World Labs发布Atlas世界模型

由李飞飞创立的World Labs推出了Atlas,这是一个多模态世界模型,统一了文本、图像、视频和3D处理,并融入空间上下文。Atlas是一个原生多模态自回归扩散Transformer,从头开始预训练,在单一架构中处理生成、重建和模拟。其关键创新在于空间上下文——每张图像/深度图都被放置在特定的3D姿态中,实现像素级相机控制及上下文空间推理(例如,在两张无关照片之间生成连接走廊)。相机可控生成:从单张或多张图像加上精确的相机路径,可生成长达1分钟的1440p视频,具有3D一致性并能外推至可见区域之外。空间重建:从1到100多张稀疏图像中,仅用2-3张图像即可超越专用最先进的重建模型;原生输出点云和3D高斯泼溅,将生成与可渲染资产连接。时空模拟:多手机视频重构成子弹时间效果;真实到模拟的机器人仿真——从手机视频重建环境,生成机器人视角的RGB+深度,支持刚体、铰接体和可变形物体的操作,并可通过编程变化生成训练数据。图像生成:文本到图像、文本渲染、360°全景,被描述为展示模型通用性的副产品。基准测试:相机控制生成的胜率随轨迹复杂度增加而提升;稀疏视角3D重建误差低于最佳开源专用模型;扩展性表明每次计算增加都会解锁新能力。
Key insights
空间上下文是对基于文本的相机控制的根本性进步
Atlas使用几何相机轨迹作为输入,而非自然语言描述来控制视角。这一结构优势意味着其性能优势随着相机路径复杂度的增加而增长,这与依赖文本提示的视频模型不同。将图像置于共享3D空间并生成它们之间不可见的连接,赋予了模型一种空间上下文学习的形式。
真实到模拟的机器人管线解决了关键的数据瓶颈
Atlas可以拍摄环境的短手机视频,进行3D重建,并生成合成机器人视角的RGB和深度图像,支持物体操作的模拟。通过编程方式改变物体、光照和背景,能够为具身AI生成大规模训练数据,可能加速机器人学习。
扩展信号表明存在计算驱动的能力边界
该模型显示,每次训练计算的增加都会解锁新能力,遵循扩展定律。这意味着World Labs的竞争护城河可能在于大规模计算和数据飞轮的获取,而非单一的算法技巧,使Atlas成为一个随着更多资源投入而不断改进的平台。
Atlas在3D重建上以少量图像超越专用模型
仅用2-3张输入图像,Atlas在学术基准上超越了专用最先进的重建模型,并且原生生成3D高斯泼溅。这表明一个通用世界模型可以匹配或超越专用系统,可能将多个图形管线整合到一个模型中。