GLM-5.3-Flash推理系统由GLM智能体自主优化

智谱AI透露,一个基于GLM-5.3的智能体在超过10万块国产加速器上优化了其推理系统,在不到两周内实现了3.2倍的吞吐量提升。该智能体利用密集反馈机制修复了精度、并发和计算错误。
Key insights
AI智能体在两周内实现3.2倍吞吐量提升
智谱AI宣布,GLM-5.3-Flash的所有生产推理现已在超过10万块国产AI加速器上运行。优化工作由GLM-5.3驱动的AI智能体完成,而非人类工程师,在不到两周内实现了从首次运行到全面生产的3.2倍端到端吞吐量提升。这一里程碑表明,AI能够在严格约束下自主优化复杂基础设施。
工程约束与权衡
部署面临严峻条件:国产加速器上有限的内存和互连带宽、100万token上下文、多模态请求,以及缺乏内核和文档的不成熟软件栈。每一项优化都是权衡:ReplaySSM用计算换取内存,张量并行用通信换取内存,混合INT8/FP8/BF16缓存用精度换取容量,编码-预填充-解码分离用分离换取调度灵活性。
诊断瓶颈与密集反馈解决方案
核心困难不在于编写代码,而在于诊断性能下降的原因。'吞吐量下降20%'是一个稀疏奖励,存在信用分配问题。端到端基准测试需要数小时,使得探索成本高昂。智谱通过将资深工程师的隐式过程奖励外化为一个包含三个信号的密集反馈系统来解决这一问题:正确性、系统行为和性能。每个信号都是局部的、廉价的且可客观验证的,这实际上是为智能体设计环境,而非增加其能力。
发现并修复的三个具体工程错误
该智能体发现并解决了三个实际问题:1)KDA上下文并行精度漂移,由于TF32舍入误差在链式状态矩阵合并中累积;2)KV传输和DeepEP调度未能重叠,因为节点内路径未释放GIL,导致超过30%的开销降至1%以下;3)一个解码内核重复计算同一归一化四次,实现了1.71倍加速。该智能体通过阅读SGLang、FLA和DeepGEMM内核代码推导出优化框架,展示了跨代码库的模式迁移。
人类角色转向反馈设计
智谱CEO唐杰强调,人类仍然定义目标、构建反馈环境并审查高风险变更。然而,工程师的角色正在从问题解决者演变为反馈设计者。这是一个根本性转变:工程师不再直接修复问题,而是为AI智能体创造自主识别和解决问题的条件,重新定义了在AI驱动的基础设施中人类专业知识的含义。
反馈环境兼作训练数据
唐杰指出,分层、可验证的反馈环境具有双重用途:既是智能体的工作环境,也是下一代模型的训练数据来源。每完成一个任务都会成为后继者的训练示例,形成闭环。虽然递归自我改进仍遥不可及,但最小循环已经存在:'模型优化系统,系统运行模型。'这暗示了一个可能加速未来AI发展的数据飞轮。