GLM实现递归自我改进

智谱AI披露,GLM-5.3-Flash的生产推理运行在超过10万个国产AI加速器上,通过由GLM-5.3自身驱动的AI智能体,端到端吞吐量提升了3.2倍。该智能体修复了三个实际工程问题:精度漂移、并发瓶颈和冗余计算。CEO唐杰表示,该模型优化了运行它的系统。
Key insights
智能体驱动的推理优化
智谱AI的GLM-5.3-Flash模型目前正在超过10万个国产AI加速器上运行生产推理。从首次运行到生产,整个优化过程耗时不到两周,端到端吞吐量提升了3.2倍。优化工作并非由工程师完成,而是由GLM-5.3自身驱动的AI智能体完成。
用于智能体调试的密集反馈系统
该智能体采用了具有分层验证接口的“密集反馈”系统:正确性反馈、系统行为反馈(耗时)和性能反馈(在特定条件下哪种方案更优)。这使得智能体能够识别并修复三个实际工程问题。该系统旨在将隐性的工程师专业知识转化为显性、可验证的信号。
智能体发现的三个工程修复
智能体发现并修复了:1)KDA内核中的精度漂移,原因是TF32舍入误差在长上下文中累积;2)并发瓶颈,即DeepEP中由于GIL未释放导致KV缓存传输从未与计算重叠;3)解码内核中的冗余计算,该内核重复进行了四次归一化。这些修复使性能提升了最高1.71倍(针对最后一个问题)。
CEO对递归自我改进的反思
CEO唐杰强调,关键收获不在于任何单一优化,而在于工程师角色从问题解决者向反馈设计者的转变。他指出,智能体的任务可以成为未来模型的训练数据,从而形成递归自我改进的最小闭环。人类监督仍保留用于目标设定、反馈环境搭建和高风险变更审查。
关于AI自我改进水平的研究论文
一篇由30多位研究人员撰写的独立论文提出了AI自我改进的5级分类法,从第1级(人类决定改进什么)到第5级(AI重写创造下一代AI的过程)。他们审查了491篇论文,发现75%仍处于第1-2级,只有不到6%达到第5级。这为理解GLM的成就作为迈向递归改进的早期步骤提供了框架。