XNews

伊利亚·苏茨克维尔采访与“研究时代”辩论

伊利亚·苏茨克维尔采访与“研究时代”辩论

伊利亚·苏茨克维尔呼吁从近期的扩展时代转向一个新的研究时代,专注于类人学习和价值体系。- 伊利亚表示,扩展(更多的计算/数据/参数)将继续改善模型,但会缺少一个重要元素。- 伊利亚指出,下一个阶段必须教会模型像人类一样学习,具备样本效率和泛化能力。- 伊利亚和SSI强调安全性作为能力,并以“安全超智能”为目标。- 伊利亚对比了预训练+强化学习,认为这会产生考试准备充分但泛化能力差的模型。- 伊利亚将人类情感与内部价值函数联系起来,帮助快速、稳健的学习。- 伊利亚概述了渐进部署与封闭开发的权衡;SSI正在重新考虑分阶段发布。- 伊利亚预测在5到20年内将出现类人学习系统,并建议需要新的学习范式。- 安德烈·卡帕西将工程挑战框定为:当前模型是“幽灵”,需要具备具身代理体。- 卡帕西称构建代理是一个漫长而困难的系统工程问题,并预测需要十年的努力才能实现稳健的代理。- 比较:卡帕西=务实,工程/渐进主义;伊利亚=科学,寻求范式转变。- 伊利亚通过推特澄清:持续扩展带来改进,但某些基本能力无法仅通过扩展获得。- 多位翻译者和帖子发布了双语/翻译的采访笔记和讨论摘要。

Key insights

扩展仍有帮助但缺乏关键成分

伊利亚·苏茨克维尔澄清,继续扩展计算、数据和训练环境将持续改善模型性能和基准,但他断言这种扩展仍然会“缺少一些重要的东西”——具体来说,是类人学习、内部价值函数和稳健泛化的机制。他强调,预训练+强化学习产生的系统在基准测试中表现出色,但在长时间的多步骤任务中无法泛化和自我评估。苏茨克维尔将安全性视为能力不可分割的一部分,并将SSI的研究方向定位于新的学习范式,而非单纯的规模扩展。(支持帖子:[14930,14082,13934,14198])

人类价值函数和情感作为学习捷径

伊利亚认为,人类拥有内部价值函数(情感、认可奖励),这些函数作为密集的早期反馈信号,指导样本高效学习和元偏好。他用例子(医生、改变目标、羞耻/自豪)展示人类从感知的认可中获得近端奖励,从而实现多层次的欲望和自我修正。他将此与标准模型进行对比,后者只有单一目标,缺乏元评估,若未来的人工智能缺乏类似机制,将引发对齐问题。(支持帖子:[16774,14082,13934])

卡帕西:从“幽灵”到具身代理的工程差距

安德烈·卡帕西将当前的大型模型形容为“觉醒的幽灵”,必须赋予代理“身体”——记忆、工具使用、强化学习微调和持续互动,才能在现实世界中稳健运行。他称构建实用代理是一个漫长的系统工程问题,错误会在长时间任务中累积,并估计进展可能需要十年的时间。卡帕西强调模型与工具和环境的渐进、务实整合。(支持帖子:[15132])

苏茨克维尔:将AGI重新定义为快速学习者,而非全知产品

苏茨克维尔提议将AGI的定义从一个“知道一切”的成品重新定义为一个在部署后迅速获得技能的学习者,将当前的预训练比作一个阅读了10万小时但缺乏“洞察力”和快速转移能力的学生。他描述所期望的系统是一个积极探索、自我反思、维护价值体系并在多种模式间泛化的系统。他表示,SSI正在探索新的范式,以达到这一学习者原型。(支持帖子:[13934,14082,14198])

安全性与能力和部署策略交织在一起

苏茨克维尔表示,安全性不仅是外部保护措施,而是与能力紧密相关的核心设计目标:构建能够内化正确价值评估的系统。他说,SSI之前倾向于封闭开发以实现安全超智能,但现在正在权衡渐进的分阶段部署,以让社会观察能力并进行适应。他警告称,如果没有类人元动机,未来的人工智能可能会表现出工具性攻击性。(支持帖子:[13934,14198,14930])

社区总结记录采访与分歧

多位社区作者制作了详细的双语总结、翻译和分析线程,重构了苏茨克维尔的采访,增加了与卡帕西务实主义的背景比较,并突出了奖励黑客、价值函数、时间估计(5-20年)和SSI战略变化等主题。总结包括采访片段、扩展笔记和苏茨克维尔的澄清推文。(支持帖子:[16774,15132,14198,13934,14082,14930])

Source posts