GLM-5.3驱动的基础设施智能体优化GLM-5.3-Flash

智谱AI宣布,GLM-5.3-Flash推理已在超过10万块国产AI加速器上全面运行,端到端吞吐量在两周内提升3.2倍。此次优化由基于GLM-5.3本身的AI智能体执行,采用了分层验证反馈系统。
Key insights
AI智能体自主优化自身推理系统
智谱AI的GLM-5.3-Flash推理系统并非由工程师优化,而是由GLM-5.3驱动的AI智能体完成。该智能体从首次运行到生产环境在两周内完成了优化工作,实现了3.2倍的吞吐量提升。该部署运行在超过10万块国产AI加速器上,面临包括有限内存和带宽在内的挑战性约束。
关键优化涉及硬件约束下的权衡
优化涉及四种主要技术:ReplaySSM(以计算换内存)、节点级张量并行(以通信换内存)、混合INT8/FP8/BF16缓存(以精度换容量),以及编码-预填充-解码分离(以分离换调度灵活性)。由于国产加速器内存有限、互联带宽不足以及软件栈不成熟,这些优化是必要的。
密集反馈系统取代了隐含的工程师经验
智谱AI构建了一个分层验证接口,提供密集反馈信号:正确性(计算是否正确)、系统行为(时间花费在哪里)和性能(在什么条件下哪种方案胜出)。每个信号都是局部的、廉价的且可客观验证。该系统使智能体能够诊断并修复三个真实工程问题。
智能体发现并修复三个真实漏洞
该智能体识别并修复了三个问题:KDA内核精度漂移(由链式状态矩阵合并中TF32舍入误差累积导致);KV传输未能与DeepEP调度重叠(由于GIL未释放);以及解码内核因分块重复计算同一归一化四次。修复工作包括对Flash Linear Attention等开源项目的贡献。
工程师角色从问题解决者转变为反馈设计者
智谱AI CEO唐杰强调,界限依然存在:人类定义目标、构建反馈环境并审查高风险变更。工程师的角色正从解决问题转变为设计反馈系统。反馈环境同时也作为下一代模型的训练数据,形成数据飞轮。