Ilya Sutskever:规模化时代已尽与价值函数讨论

Ilya Sutskever 在离开 OpenAI 创办 SSI 后的首次系统访谈,讨论当前 AI 状态与未来路径。
Key insights
规模化时代收益递减,需要回归研究创新
Ilya 表示 2020–2025 年为“规模化时代”,通过堆算力、数据与模型规模获得稳定提升,但边际回报急剧下降,单纯再堆算力难以带来质变。未来 5–10 年将回到以研究与新学习原理为主导的阶段,关键是提出能让模型像人类那样学的原则。该观点基于他对过去两个时代(2012–2020 研究时代与 2020–2025 规模时代)的划分与评估。
当前模型在基准上强但真实任务泛化不足
Ilya 指出现有模型在各类评测(evals)得分极高,但在实际复杂任务中反复出现“修复引发新 bug”的循环错误,根源在于 RL 阶段过度针对评测优化(reward hacking humans),导致模型像“只会考试的学生”。他用竞赛刷题的比喻说明技能与泛化不同,强调泛化才是瓶颈。
人类学习优势源于内在价值函数与情感机制
访谈中提出人类具备“内在价值系统”(类似 value function),情感(快乐、焦虑、羞愧、好奇)作为即时反馈,能在长时程任务中提前给出方向性信号,从而显著提高学习效率。Ilya 用脑损伤患者案例与棋局直觉说明情感在决策与泛化中的核心作用。
预训练与强化学习的角色区分与问题
Ilya 对预训练与 RL 的分工进行分析:预训练利用海量未筛选数据获得广泛投影,RL 需要人为设计目标和环境,后者在实际部署中容易被人为目标诱导,从而损害真实世界泛化能力。他认为仅靠预训练放大规模无法自动解决泛化问题。
SSI 的路线:安全超智能与渐进式公开部署
SSI(Safe Superintelligence)目标是开发‘安全超智能’。Ilya 说明 SSI 将侧重渐进、安全、公开的推进方式,每一阶段能力、风险与控制策略都将接受外部审查,并开始认真考虑渐进式部署以让公众与政府逐步理解技术与风险。
重新定义 AGI:从成品到能像人类一样学习的学习者
Ilya 提出 AGI 应被视为‘学习者’而非出厂即全能的成品。真正的超智能应具备主动探索、跨模态推理、自我反思与持续学习能力,与人类类似的入职—成长路径更贴合实际部署与经济影响评估。