GLM-5.3优化自身推理基础设施

智谱披露,其GLM-5.3-Flash模型的推理系统运行在超过10万块国产AI加速器上,该系统由GLM-5.3自身驱动的AI智能体进行了优化。该智能体在不到两周内实现了3.2倍的吞吐量提升,标志着向递归自我改进迈出了一步。
Key insights
核心成就:自我优化
智谱宣布,其GLM-5.3-Flash模型现已在超过10万块国产AI加速器上运行生产推理。关键的里程碑是,推理系统的优化是由GLM-5.3自身驱动的AI智能体完成的,而非人类工程师。该智能体在不到两周内将端到端吞吐量提升了3.2倍。
“密集反馈”方法论
智能体的主要挑战是诊断性能下降的原因。智谱通过构建一个具有分层验证接口的“密集反馈”系统解决了这一问题。该系统提供三种信号:正确性(数学计算是否正确?)、系统行为(时间花在哪里?)和性能(哪种策略在什么条件下胜出?)。这种方法是为智能体设计环境,而不仅仅是赋予它更多能力。
案例研究1:数值精度漂移
智能体发现,在上下文并行路径中,KDA内核的精度随序列长度发生漂移。TF32舍入误差通过链状态矩阵合并累积。智能体识别了根本原因,修复方案已合并到开源项目Flash Linear Attention中。
案例研究2:并发瓶颈
智能体发现,KV缓存传输和DeepEP调度从未按预期重叠。通过追踪跨Python/C++边界的调用链,它发现DeepEP中的节点内路径未释放全局解释器锁(GIL),阻止了传输线程的执行。修复将开销从超过30%降至不到1%。
案例研究3:冗余计算
一个解码内核由于其分块策略,将相同的归一化操作执行了四次。智能体重构了计算,实现了1.71倍的加速。优化思路来自智能体从SGLang、FLA和DeepGEMM等项目内核代码中提炼的“优化骨架”。
递归自我改进循环
智谱CEO唐杰强调,这形成了一个闭环:模型优化系统,系统服务模型。为智能体构建的分层验证环境也为未来模型提供了理想的训练数据。每个完成的任务都成为下一代模型的训练示例,形成了数据飞轮。
工程师角色的转变
唐杰表示,工程师的角色正在从解决问题转向设计反馈系统。人类仍负责定义目标、构建反馈环境以及审查高风险变更。智能体在该结构化框架内负责执行和诊断。