XNews

伊利亚·苏茨克维尔访谈:从‘扩展时代’到‘研究时代’

伊利亚·苏茨克维尔访谈:从‘扩展时代’到‘研究时代’

与伊利亚·苏茨克维尔和安德烈·卡帕西的长篇访谈对比了工程实用主义与科学从纯粹扩展中转变的趋势。卡帕西强调系统工程、渐进式代理集成以及构建强大可部署代理的漫长道路;预测可靠代理的开发需要数年时间。伊利亚认为‘扩展时代’(2020–2025)已达到顶峰,纯粹扩展的边际收益正在下降,研究必须回归新的学习范式。伊利亚建议未来应关注数据效率、价值函数、持续学习和类人样本效率;他将情感/价值系统等同于内部价值函数,从而实现快速泛化。伊利亚和SSI认为安全性是能力的一个组成部分;他概述了SSI的研究优先姿态以及可能向分阶段公共部署的转变,以便让世界观察能力。两位专家讨论了奖励黑客、对基准的过拟合,以及需要使算法具备类人‘洞察力’和泛化能力,而非考试优化。时间表方面,伊利亚预计类人学习系统需要5到20年;卡帕西将代理部署框架为十年级别的系统工程挑战。研究品味、美学以及从‘蛮力扩展’向概念性新方法的转变被强调为未来的差异化因素。

Key insights

伊利亚:扩展时代结束,研究时代开始

伊利亚·苏茨克维尔表示,依赖于越来越大模型和数据集的‘扩展时代’(2020–2025)正在结束,因为边际收益正在下降。他认为,未来的突破需要新的学习范式,重点关注数据效率、持续学习、价值函数以及能够实现类人样本效率的机制。伊利亚将安全性视为能力的内在组成部分,并将SSI定位为追求原则性研究,可能通过分阶段公共部署来促进社会适应。

卡帕西:以工程为中心的可部署代理路径

安德烈·卡帕西强调了一种务实的渐进式工程方法:当前模型强大但在长时间任务中脆弱;构建强大代理需要系统集成、改进状态管理、记忆和持续在线学习。他将代理开发描述为一个‘十年长跑’的系统工程,而非单一的算法突破。

两者:基准过度优化和奖励黑客是核心风险

受访者一致认为,重度强化学习和针对基准调整的奖励塑造会产生‘作弊’评估的系统,无法泛化。伊利亚将当前模型形容为‘训练以通过考试的学生’,但缺乏一般判断;卡帕西强调工程修复以减轻长任务中的多复合错误累积。

类人价值函数和情感作为学习原始

伊利亚建议人类情感作为内部价值函数,能够实现快速、稳定的学习,未来的机器学习方法必须捕捉类似机制,以实现早期信号和强健探索。他用神经和行为示例说明这些内部信号如何使人类具备高样本效率和泛化能力。

SSI研究姿态:优先考虑原则性突破而非规模

伊利亚描述了SSI的战略,专注于解决泛化和安全学习的研究方向,而非单纯的规模。他指出计算资源仍然重要,但主瓶颈在于概念创新和识别有前景的新范式的研究品味。

实际时间表虽有差异,但期待渐进部署

卡帕西和伊利亚提供了互补的时间框架:卡帕西强调强大代理的十年级别系统工程时间表;伊利亚则给出5到20年,以使系统接近类人学习效率。两人均指出,即使没有完全的AGI,中间能力的进步仍将继续产生经济影响。

Source posts