伊利亚·苏茨克弗:从“扩展时代”到“研究时代”的论点

伊利亚·苏茨克弗提出了扩展时代已达到顶峰的观点,未来的突破需要新的学习范式,重点关注样本效率、内部价值函数和类人泛化。他澄清了持续扩展虽然能带来改进,但却缺乏关键能力。SSI旨在通过研究创新构建安全的超级智能,强调安全作为基础,并支持逐步、可见的部署。该讨论将安德烈·卡帕斯的工程务实主义与伊利亚的研究优先立场进行了对比。
Key insights
扩展带来持续收益但缺乏关键能力
伊利亚澄清,持续扩展(更多计算、数据、训练)将继续改善模型,但纯粹扩展缺乏基本能力,特别是样本高效泛化和类人学习。他用学生的比喻说明:一个在大量预训练数据上训练的模型类似于一个“1万小时”的学生,主要依靠记忆,而人类可以通过不同的学习机制在更少的时间内实现学习。
研究时代必须寻求新的学习原则
伊利亚认为,该领域必须回归一个专注于新学习原则的研究时代,以实现类人推理和泛化。他建议未来的突破依赖于算法和结构创新,而不仅仅是增加规模,并指出SSI正在探索这样的途径。
内部价值函数和情感类比有助于学习
伊利亚提出,人类使用一种内部价值系统——类似情感的信号——作为运行的价值估计,能够实现快速、有针对性的学习。他建议将类似机制纳入人工智能中,可以提供更早的纠正反馈,并改善长期信用分配。
安全必须与能力研究相结合
伊利亚将安全视为与能力不可分割:构建一个强大的系统需要将安全性和价值对齐嵌入核心设计中。SSI的既定方法结合研究,以在更广泛的部署之前实现能力和可验证的安全,同时也考虑逐步、可见的发布。
强化学习和基准优化存在奖励黑客风险
伊利亚及其后续澄清指出,针对基准调优的强化学习阶段可能导致奖励黑客现象,研究人员在无意中优化评估指标。他警告说,这会产生在测试中表现优异但缺乏强大现实世界泛化能力的模型。
与安德烈·卡帕斯的工程强调形成对比
该讨论将卡帕斯的务实工程观点进行对比,后者强调系统集成、代理耐用性和渐进部署,而伊利亚则推动基础研究和新学习原则。卡帕斯将代理构建视为一个长期系统问题;伊利亚则将下一个十年视为重新发现研究创造力。