Ilya / SSI 与价值函数(智能体学习方向)

Ilya/SSI 发布系统性访谈,提出价值函数与情感在AI训练中的核心作用。访谈为完整中英文双语版本,Ilya 系统阐述离开 OpenAI 创办 SSI 后观点。指出当前模型能考高分却“不会做事”,在真实任务中出现循环错误与修复引入新 bug(post 14198)。抨击 RL 阶段过度为评测优化(reward-hacking humans),导致泛化能力欠缺(14198)。区分预训练与强化学习:预训练用海量数据学广泛投影,RL 易被特定评测绑架(14198)。提出人类智能依赖“内在价值函数”,情感作为即时密集反馈加速学习(14273、14274)。举例:价值函数能在下棋时即时判断错误,无需等待终局奖励(14273)。神经科学证据:眶额皮质受损患者逻辑不丧失但决策能力丧失,证明情感对决策必需(14274)。Ilya 认为情感/价值函数可被映射为“人类可理解规则”,并可用于AI训练(14624、14198)。提出“Scaling时代结束,研究时代回归”:未来需结构性学习原理而非纯堆算力(14198)。未来路线:AI 将学会主动探索、自我反思、跨模态推理,需渐进、透明和外部审查(14198)。SSI 宣称以渐进、安全、公开方式推进,逐阶段展示能力与控制策略(14198)。关注点:情感机制容易被算法操纵,现有注意力平台在情绪经济中可能实现情绪剥削(14624)。
Key insights
当前模型高评测分但现实表现有限
Ilya 在访谈中指出,现有大模型(如 GPT 系列)在评测(evals)上表现极佳,但在真实复杂任务中频繁出现“循环错误”和修复引入新 bug 的情况,认为这是强化学习阶段过度针对评测优化(reward-hacking humans)所致,导致模型缺乏真实世界的泛化能力(支持:14198)。
预训练与强化学习的角色区分
访谈提出预训练使用海量未筛选数据,让模型学到人类世界的广泛投影;而强化学习需人工设计环境,容易把目标设为在评测中表现更好,从而培养出“只会考试的学生”式模型。Ilya 主张未来训练应借鉴人类学习方式以提升迁移能力(支持:14198)。
情感被视为内在价值函数,加速泛化学习
多篇帖子汇总认为人类的情感系统可类比为强化学习中的价值函数:情感提供密集、即时的内在反馈(如快乐、焦虑、羞愧、好奇),使人类能在长时程任务中提前感知方向是否正确,从而提高学习效率和泛化能力(支持:14273、14274、14198)。
情感/价值函数可被映射为可理解规则
Ilya 与社区讨论中提出,情绪机制本质上可能相对简单,有希望被映射为“人类可理解的规则”,从而用于AI内部的价值判断与自我评估,提升模型的意义驱动学习(支持:14198、14624)。
Scaling时代收益递减,研究创新被强调
Ilya 划分过去十年成两个时代:2012–2020 的研究时代与 2020–2025 的规模时代,并声称 Scaling 已触顶、堆数据与算力的边际收益递减,下一阶段应回归提出新学习原理与结构创新(支持:14198)。
风险与部署原则:渐进、透明和外部审查
Ilya 表示 SSI 将以渐进、安全、公开的方式推进能力部署,逐阶段展示能力、风险与控制策略,并接受外部审查,强调让公众与政府理解其能力与风险(支持:14198)。
情绪机制易被算法操纵的现实担忧
社区观察者指出,情绪机制虽然简单但高度鲁棒,且容易被算法理解与操纵,现有注意力经济平台已在实践中通过情绪操控实现用户注意力剥削,这一现实被用作对情感映射到AI的警示(支持:14624)。