XNews

安德烈·卡帕斯基 2025 年 LLM 年度回顾

安德烈·卡帕斯基 2025 年 LLM 年度回顾

安德烈·卡帕斯基发布了2025年LLM年度回顾,概述了六个范式转变。关键变化包括:RLVR(可验证奖励的强化学习)成为第四个标准训练步骤,使用数学和代码等客观环境;RLVR使模型能够发现逐步解决策略,并将计算从预训练转移到RL。卡帕斯基将LLM智能描述为“锯齿状”,警告基准测试可能被操控,并指出新兴的LLM应用层(Cursor),该层管理上下文、模型编排和接口。他强调了本地代理(Claude Code)的重要性,‘氛围编码’的兴起使自然语言编程成为可能,以及早期的LLM图形用户界面(Gemini Nano Banana),它们融合了图像和动画输出。

Key insights

RLVR作为新的LLM训练阶段

卡帕斯基记录了一种新的训练范式,称为RLVR(可验证奖励的强化学习),它在预训练、监督微调和RLHF的基础上增加了第四个阶段。RLVR在具有客观、可验证奖励的环境中训练模型(例如,数学问题和可运行代码),使模型能够反复练习并发现内部逐步策略。这种方法在没有大规模参数增加的情况下改善了推理,并改变了计算资源的分配,o1和o3被引用为这一轨迹的标志。

LLM智能是不均匀的('锯齿状')

卡帕斯基将模型智能框架化为'锯齿状':LLM在存在可验证奖励的情况下(数学、代码)可以表现出近乎专家的性能,但在常识、社交或创造性任务中却会犯简单错误。他将这种模式归因于可验证训练信号的可用性,并指出基准分数可能具有误导性,因为模型可能会过拟合评估环境。

LLM应用层作为新的软件范式出现

卡帕斯基指出了以Cursor为例的独特LLM应用层:其功能包括上下文工程、多模型编排、专业用户界面和用户自主滑块。他认为模型供应商生产通才'毕业生',而应用构建者通过组织数据、传感器、执行器和反馈循环将其转化为领域专家。

本地代理与开发者工作流程

卡帕斯基强调Claude Code作为代理应在本地运行的证明:它调用工具、进行推理、循环,并与用户的私有环境集成。他批评了云优先的设计(例如,OpenAI通过ChatGPT分发代理),并认为本地部署更好地增强了开发者与代理并肩工作的能力。

氛围编码使编程民主化

卡帕斯基创造了'氛围编码'一词,以描述2025年的转变,用户用英语表达意图,模型生成可工作的代码。他报告称,这使非程序员能够生成软件,并使许多小型或一次性编码任务对经验丰富的开发者来说变得经济;卡帕斯基提供了个人示例,包括一个Rust分词器和几个临时工具。

LLM图形用户界面正在出现

卡帕斯基强调谷歌的Gemini Nano Banana作为即将到来的LLM GUI时代的证据,它整合了文本、图像、信息图和动画。他认为LLM需要图形用户界面,以可视化方式呈现信息,并在模型权重中结合文本、图像生成和世界知识,以更好地匹配人类偏好。

Source posts