GLM-5.3 推理系统自优化

智谱宣布,其GLM-5.3-Flash模型现已在超过10万块国产AI加速器上运行生产推理,在不到两周的时间内实现了3.2倍的吞吐量提升。该优化由GLM-5.3驱动的AI智能体完成,该智能体采用分层验证系统,识别并修复了三个关键问题:精度漂移、并发瓶颈和冗余计算。公司强调,人类工程师仍负责定义目标并审查高风险变更。
Key insights
智能体驱动优化实现3.2倍吞吐量提升
智谱的GLM-5.3-Flash模型在超过10万块国产加速器上运行,在不到两周内实现了3.2倍的端到端吞吐量提升。该优化由GLM-5.3驱动的AI智能体完成,而非人类工程师。关键技术包括ReplaySSM、节点级张量并行、混合INT8/FP8/BF16缓存以及编码-预填充-解码分离,所有这些技术均设计在有限内存、带宽和不成熟软件栈的约束下工作。
分层验证系统解决信用分配问题
智能体的成功关键在于将隐性的工程专业知识转化为具有密集反馈信号的分层验证系统:正确性、系统行为和性能。这解决了稀疏奖励和信用分配问题——即20%的吞吐量下降无法指示哪一层或哪个假设出错。该系统使智能体能够精确定位根本原因,例如KDA内核中的TF32舍入误差、DeepEP中的GIL争用以及解码内核中的冗余归一化。
人类角色从问题解决者转变为反馈设计者
智谱CEO唐杰表示,尽管智能体执行了优化工作,但人类仍负责定义目标、构建反馈环境并审查高风险变更。这标志着工程师的角色从解决问题转向设计反馈系统。分层验证环境还作为未来模型的训练数据,形成数据飞轮——每个完成的任务都成为下一代模型的训练示例。