XNews

扬·勒昆离开Meta创立AMI;主张世界模型优于大规模语言模型

扬·勒昆离开Meta创立AMI,推动世界模型研究。

Key insights

勒昆离开Meta创立AMI,追求开放的世界模型研究

扬·勒昆宣布他在65岁时离开Meta,创立位于巴黎的先进机器智能(AMI),并指出Meta转向封闭的短期项目和减少出版。他将AMI的使命框定为进行可发表的上游研究,同时构建产品,恢复他在FAIR创建的开放研究文化,并通过出版和同行反馈保持科学家的动力。

世界模型优于大规模语言模型:勒昆的技术批评

勒昆认为当前的大规模语言模型(LLM)扩展不太可能产生人类水平的现实智能,因为单靠文本缺乏视频和具身数据中存在的多模态冗余。他量化了标记数据的限制,并认为10^14字节的视频对应的时间覆盖远低于文本,这促使他提出抽象表示预测架构(JEPA/I-JEPA),该架构在嵌入空间中进行预测,而忽略不可预测的低级细节。

方法论沿革:从自编码器到JEPA和SigReg

勒昆追溯了二十年的无监督学习工作:早期的自编码器、正则化变体,然后是对比和非对比的进展(巴洛双胞胎、VICReg)。与合作者的近期工作产生了使用SigReg强制等向编码器输出的I-JEPA。他将JEPA风格的架构定位为从多模态数据中学习抽象预测表示的成熟方法。

通用人工智能时间线、安全性与社会经济评论

勒昆表示“通用智能”是一个误导性的术语,并估计乐观的时间框架为5到10年达到犬类水平的智能,且可能需要更长的时间线。他将人工智能安全描述为一个可通过系统设计(约束、世界模型)解决的工程问题,而不是对接管的恐慌,并驳斥了即将出现的大规模失业的说法,引用了经济学家的观点和历史技术转型的例子。

Source posts