GLM-5.3优化自身推理系统

智谱AI披露,GLM-5.3-Flash推理已在超过10万块国产AI加速器上运行,端到端吞吐量在不到两周内提升了3.2倍。优化工作由GLM-5.3驱动的AI智能体自主完成,该智能体自主识别并修复了三个实际工程问题。
Key insights
智能体驱动优化实现3.2倍吞吐量提升
智谱AI基于GLM-5.3的智能体优化了GLM-5.3-Flash的推理管线,该管线运行在超过10万块国产AI加速器上。初始部署后两周内,端到端吞吐量提升了3.2倍。该智能体识别并修复了三个实际工程问题,包括精度漂移、并发瓶颈和重复计算。
密集反馈环境作为关键创新
该智能体的成功依赖于一个分层验证系统,提供三种信号类型:正确性(计算是否正确?)、系统行为(时间花在哪里?)和性能(哪种方法在什么条件下胜出?)。每种信号必须局部、廉价且可客观验证。这种密集反馈设计使智能体能够自主诊断和修复问题。
发现三个实际工程问题
该智能体发现了三个案例:1)KDA上下文并行路径中的精度漂移,由于TF32舍入误差在长序列中累积;2)KV缓存传输未能与DeepEP调度重叠,因为节点内路径未释放GIL;3)一个解码内核由于分块而重复计算相同的归一化四次,简化后获得1.71倍加速。所有修复均已合并到上游。
工程师角色转变为反馈设计师
智谱AI CEO表示,瓶颈不在于编写代码,而在于理解性能为何下降。资深工程师拥有隐性的过程奖励知识。密集反馈系统将这种经验外化。现在人类定义目标、构建反馈环境并审查高风险变更,从解决问题转向设计反馈。
存在最小递归自我改进循环
反馈环境被双重利用:它使当前智能体成为可能,并为未来模型提供训练数据。每个完成的任务成为下一个任务的训练材料。作者指出,递归自我改进仍然遥远,但存在最小的闭环:模型优化系统,系统服务于模型。
约束下的优化:国产硬件与软件不成熟
部署环境包括国产加速器上受限的内存和互连带宽,不成熟的软件栈,缺少内核和文档。所有优化都涉及权衡:ReplaySSM(计算换内存)、节点内张量并行(通信换内存)、混合INT8/FP8/BF16缓存(精度换容量),以及编码-预填充-解码分离(分离换调度灵活性)。