扬·勒昆离开Meta创立世界模型研究机构AMI
扬·勒昆离开Meta,在巴黎创立了AMI,原因是Meta日益封闭和短期关注。他认为,目前的LLM方法——基于大量文本训练——无法达到人类级别的现实世界理解,因为需要视觉/视频数据和抽象的世界模型。勒昆提倡联合嵌入预测架构(JEPA / I-JEPA),在抽象表示空间中进行预测,而非像素。他将安全性视为一组工程约束,承诺AMI将公开发布研究,并给出5到20年的时间框架,以实现向人类般的世界模型的实质性进展。
Key insights
现实智能需要世界模型
勒昆认为,主要基于文本训练的变换器LLM无法捕捉物理世界的动态;相反,模型必须在抽象潜在空间中学习世界动态。他解释说,视频包含比文本更密集和更具信息量的信号,适合学习物理法则,而像素级预测因不可预测的噪声而失败。
JEPA/I-JEPA作为提议的架构
勒昆描述了联合嵌入预测架构(JEPA和I-JEPA),将输入和目标编码为抽象表示,并在该空间中进行预测。他指出,这些方法避免了强迫表示重建噪声输入,并且最近的方法(如Barlow Twins、VICReg、SigReg)为这一轨迹提供了启示。
创立AMI以维护开放性和长期研究
勒昆离开Meta是因为FAIR的开放性随着产品时间表和保密性增加而减少。他创立AMI以进行上游、可发布的研究,同时构建利用世界模型的产品,坚称开放出版对科学验证是必要的。
关于AGI的时间表和现实主义
勒昆拒绝短期AGI时间表,并表示达到人类级别的世界建模可能需要至少5到10年才能达到狗级智能,可能需要20年或更长时间才能实现进一步的里程碑。他引用历史教训和莫拉维克悖论来缓和乐观情绪。
安全性视为工程约束
勒昆将AI安全视为设计具有硬约束的架构的工程问题,而不仅仅依赖于微调。他对比了嵌入约束的架构与主要依赖微调且容易被破解的LLM。
开放性与全球模型格局
勒昆指出美国主要实验室的封闭开发趋势,同时赞扬中国生态系统某些部分的开放性;他提到开源模型(如Mistral)对研究的可重复性和社区进步的重要性。