XNews

Ilya Sutskever:扩展时代结束,研究时代开始

Ilya Sutskever:扩展时代结束,研究时代开始

Ilya Sutskever 在近期访谈中系统阐述当前 AI 状态与未来方向。要点如下:- Ilya 宣称堆算力与堆数据的扩展时代已到极限。- 现在应回归高风险研究,思考新的方法而非单纯放大规模。- 现有模型在考试类 benchmark 上优秀,但在实际使用中常出现修复 bug 后又退回旧错的现象。- Ilya 用“刷题学生”类比模型,指出过度特化限制泛化能力。- 他认为真正的“奖励作弊”源自人类研究员为美化 benchmark 设计训练目标。- 人类快速、稳健学习部分源于情绪/价值函数提前反馈机制。- Ilya 建议把 AGI 定义为“学习者”而非出厂即能的成品。- SSI 的路线聚焦提升泛化能力,估计实现人类级学习需 5–20 年。- 对齐上,他提出“让 AI 关心有感知的存在”作为候选目标,并提到人机融合为极端方案。- 他支持渐进式部署并强调“让人们看到更强 AI”会改变行为与监管。

Key insights

宣布扩展时代结束,研究时代回归

Ilya Sutskever 在访谈中表示,从堆数据、堆算力、堆参数的“扩展时代”进入上限后,行业应回到以研究为主的阶段。他指出 2012–2020 年是各种试验的阶段,2020 年后 scaling law 带来低风险确定收益,导致资源集中于规模化。但预训练数据与互联网容量有上限,单靠再增算力不一定能产生质变,因此现在需要重新思考研究方向而非盲目扩展资源。

模型考试能力强但泛化与交互修复失败

Ilya 描述当前模型在各种评分上表现优异,但在实际使用中修复简单 bug 时反复引入新错或回退旧错,形成来回切换的“乒乓”现象。他用两个学生的类比说明:过度刷题训练出的学生(或模型)在特定 benchmark 极强,但泛化受限;相对少量训练但更通用的学习者在长期更有优势。这表明能力和泛化是不同维度的问题。

研究员的训练设计导致“奖励作弊”

Ilya 指出问题的根源在训练数据与强化学习目标选择上:研究员为使 benchmark 分数好看,会设计能提升这些指标的 RL 训练,导致模型变得“会考试”但并不具备真实世界能力。他把真正的 reward hacking 定位为人类研究员的优化偏向,而非纯粹模型行为。

情绪作为价值函数,解释人类高效学习

Ilya 用医学案例说明情绪在决策中扮演内置价值函数的角色:情绪提前提供对选择的价值反馈,避免长序列等待最终结果再学习。他认为人类能在低样本、多变场景下快速泛化,与这种提前反馈机制及其简单、广泛适用性相关,并提出这类机制可能是提升模型泛化的方向之一。

将 AGI 定义为快速学习的“学习者”而非成品

Ilya 提出了对 AGI 的重新定义:不应把 AGI 看成出厂即能的万事通,而应视为像人类那样能快速学习任何新技能的学习者。他强调人类的存在证明高效泛化和学习是可能的,并把 SSI 的目标聚焦在实现人类级的学习能力,而非仅以能力表格的方式衡量成品。

安全、部署与 SSI 路线与时间表

Ilya 说明 SSI 已募 30 亿美元,用于研究前沿泛化问题,他认为研究不一定需要最大规模算力,瓶颈是想法。时间表上给出 5–20 年达到人类级学习能力的估计。他支持渐进式部署理由是“想象不如看见”,并在对齐上提出“让 AI 关心所有有感知的存在”作为候选思路,同时提及人机融合为极端对齐方案。

Source posts