XNews

从规模化到研究时代 — Ilya Sutskever 访谈与行业策略

从规模化到研究时代 — Ilya Sutskever 访谈与行业策略

Ilya Sutskever 公开访谈披露行业方向性转变与 SSI 策略。宣称 2020–2025 为“规模化时代”,2025 年后规模化边际回报下降。预测未来 5–10 年将重回以研究与创新为主的“研究时代”。认为当前模型在基准上强、现实任务反复出新 bug,根因是过度针对 eval 优化与泛化能力不足。指出人类泛化优于模型,原因在学习算法与持续学习能力而非先验。反思“预训练+RL”范式:方便但导致过度特化与记忆式能力。SSI(Straight-shot Safe Superintelligence)目标:优先纯研究直至安全,但同时考虑渐进式部署以实现持续学习与世界适应。对齐观念更新:更倾向让世界逐步体验 AI 能力以推动安全文化;对齐最终需让超智能关心有感知生命或实现人机深度融合。时间线:具有人类级学习能力并走向超智能的系统预计 5–20 年,偏前段概率更高。强调“研究品味”重要性:基于脑类比、简洁优美与多角度成立的顶级信念来选择研究方向。

Key insights

规模化时代已结束,研究驱动将回归

Ilya Sutskever 在访谈中明确指出 2020–2025 年属于“规模化时代”,依赖堆算力、数据与预训练快速提升模型能力;但自 2025 年起,单纯放大算力会遇到边际回报急剧下降的现实,因此未来 5–10 年的关键突破将更多依赖基础研究与算法创新,而非纯工程堆料。这一判断基于对近年来模型性能曲线和 eval 优化效果的观察,并提出研究范式将再次成为主导。

模型基准强但现实泛化不足的根因分析

访谈指出当前模型在基准测试表现优异但在真实任务中频繁出现新 bug、循环修复,根因包括在 RL 阶段对 eval 的过度优化(奖励黑客)导致特化行为,以及模型缺乏类似人类的持续学习与品味。Ilya 将这种现象比作只练竞技编程技巧却缺乏广义判断力的学生,结论是瓶颈在学习算法与泛化能力,而非算力本身。

人类泛化优于模型,算法与持续学习是核心

Sutskever 提出人类样本效率高、持续学习与鲁棒性强,并非仅靠先验(如视觉、运动)解释,语义领域(语言、数学、编程)的人类优势说明问题在于学习算法。访谈中透露 SSI 正在探索新机器学习范式,目标接近人类的持续学习与泛化,但细节出于竞业原因未公开。

对预训练+RL 范式的反思与定位

Ilya 表示预训练成功在于不必精细选数据即可利用海量网络数据,但也造成业界误判:认为 AGI 仅是把预训练扩到极致。结果产生“死记硬背的竞赛机器”而非灵活智能。真正的 AGI 更像“15 岁的超级学生”:有强基础能力但仍需在部署中通过持续学习获取具体知识与技能。

SSI 策略:纯研究为主、并开始考虑渐进部署

Sutskever 描述 SSI 的默认计划是先不发布产品、专注纯研究直到达成本质安全的超智能;但他也首次表示在认真考虑“渐进式部署 + 从真实世界持续学习”的路径,理由包括让世界逐步适应强 AI 以及超智能更可能以持续学习形式出现,而非一次性全知全能的终态。

对齐观念演进与时间线预测

访谈揭示过去一年内 Ilya 在对齐策略上的重大思考转变:他现在认为逐步部署并让世界真实感受到 AI 力量比纯思考更重要;当 AI 开始“感觉强大”时,前沿公司会变得极度偏执地对待安全。他给出的时间线是:具有人类级学习能力并走向超智能的系统在 5–20 年内出现,偏前段概率较高;当前预训练+RL 会继续产生收入但最终在泛化上失速。

Source posts