安德烈·卡帕西 2025 年 LLM 年度回顾

卡帕西发布了 2025 年 LLM 年终回顾,总结了六个范式转变。
Key insights
RLVR 被添加为第四个 LLM 训练阶段
卡帕西将可验证奖励的强化学习(RLVR)描述为 2025 年 LLM 的第四个训练阶段,补充了预训练、监督微调和 RLHF。RLVR 在具有客观答案的环境中训练模型(例如数学和可运行代码),让模型反复练习并发现解决策略,而无需人类评分。他指出,RLVR 将计算资源的分配从预训练转移到 RL 阶段,产生了新兴的多步骤分解和回溯行为,并在没有大幅增加参数的情况下实现了显著的推理提升。卡帕西引用了 OpenAI 的 o1 和 o3 作为这一路径上的里程碑。
LLM 智力是不均衡的——'锯齿状智能'
卡帕西认为 LLM 智力是 '锯齿状' 的(不均匀):模型在具有可验证奖励的领域(数学、代码)中可以表现出专家水平,而在简单的常识或社交任务上却失败。他将模型优化目标与人类进化进行了对比,称 LLM 是 '幽灵' 而不是 '动物'。他警告说,基准分数是不可靠的,因为基准是可验证的环境,模型可以被优化以游戏,从而在没有通用智能的情况下产生高基准表现。
通过光标风格的应用程序出现 LLM 应用层
卡帕西强调光标作为一个新 LLM 应用层的证据,该层将通用基础模型组织成垂直化工具。他描述了典型的 LLM 应用程序如何进行上下文工程,协调多个模型/API 调用,为人类干预提供特定任务的用户界面,并暴露自主滑块。他表示,模型供应商提供 '通用大学毕业生' 的能力,而应用程序开发者则利用私有数据、传感器、执行钩子和反馈循环将其转化为领域准备好的团队。
克劳德代码展示本地 AI 代理
卡帕西引用克劳德代码作为 2025 年 LLM 代理的关键示范,该代理可以调用工具、迭代、推理并在用户的本地机器上使用本地上下文和数据运行。他认为本地代理更好地与当前不均衡的代理能力和开发者工作流程对齐,并批评将重型代理执行移至云容器编排为时已晚,因为模型在任务之间仍然不一致。
氛围编码使编程民主化
卡帕西将 '氛围编码' 定义为 2025 年的一种编程范式,用户用自然语言表达意图,模型生成可运行的代码,而用户无需管理语法。他报告称,这降低了非程序员的门槛,提高了开发者的生产力,并使短暂、一次性的代码生成成本低廉;卡帕西引用了个人示例,包括一个 Rust 自定义分词器和多个使用氛围编码创建的小工具。
双子座纳米香蕉预示 LLM 图形用户界面时代
卡帕西指出谷歌的双子座纳米香蕉是 2025 年的一个关键产品,预示着 LLM 图形用户界面时代的到来:它可以生成与对话相结合的图像、信息图和动画。他将当前的基于文本的交互与 1980 年代的命令行计算进行了比较,并提出 LLM 需要视觉/空间界面(幻灯片、白板、动画),将文本、图像和世界知识结合在模型权重中。他称纳米香蕉是这一轨迹的早期指标。
总体评估:进展更快,工作仍在继续
卡帕西总结了 2025 年 LLM 的进展,认为其同时超出了预期又未能达到预期:模型比他预期的 '更聪明也更愚蠢',发生了显著的能力提升,他估计当前系统的潜力利用率不到 10%。他最后表示,尽管在稳健性和应用方面仍需大量工作,进展将继续迅速。