GLM-5.3-Flash在超过10万块国产加速器上优化自身推理

Z.ai宣布,GLM-5.3-Flash的全部生产推理现已在超过10万块国产AI加速器上运行,两周内实现了3.2倍的吞吐量提升。该优化主要由一个基于GLM-5.3的AI智能体完成,它利用密集反馈信号识别并修复了三个实际工程问题。
Key insights
受限硬件条件下的智能体驱动优化
部署面临严重限制,包括国产加速器上有限的内存和带宽、100万token上下文、多模态请求以及不成熟的软件栈。优化涉及权衡:ReplaySSM(以计算换内存)、节点级张量并行(以通信换内存)、混合INT8/FP8/BF16缓存(以精度换容量),以及编码-预填充-解码分离(以分离换调度自由度)。
密集反馈环境:智能体成功的关键
Z.ai的解决方案将隐性的工程专业知识转化为显性的分层验证接口。提供了三种信号类型:正确性(计算是否有效?)、系统行为(时间花在哪里?)和性能(哪种方法在什么条件下胜出?)。每种信号满足三个标准:必须是局部的、获取成本低廉且可客观验证。这被描述为为智能体设计环境,而非增强智能体能力。
智能体发现的三个工程问题及其根本原因
该智能体识别并修复了三个实际问题。第一,KDA上下文并行性因序列长度出现精度漂移,原因是TF32舍入误差在链式状态矩阵合并中累积。第二,KV传输和DeepEP调度无法重叠,因为节点内部路径未能释放全局解释器锁(GIL),阻碍了并发。第三,解码器内核由于其分块策略冗余计算了四次相同的归一化;智能体基于从SGLang、FLA和DeepGEMM代码中提取的优化框架对其进行了重构,实现了1.71倍加速。
工程师角色转变与递归自我改进之路
边界由人类设定的目标、反馈环境设计以及对高风险变更的人工审查来界定。工程师的角色从问题解决者转变为反馈设计者。CEI首席执行官唐杰指出,分层验证环境具有双重目的:它既是智能体的工作环境,也是下一代模型的训练材料。他表示:‘我们距离递归自我改进还很遥远,但最小的闭环已经存在。模型优化系统,系统服务于模型。’