XNews

智谱AI的GLM-5.3-Flash优化自身推理系统

智谱AI的GLM-5.3-Flash优化自身推理系统

智谱AI宣布,GLM-5.3-Flash的生产推理已在超过10万块国产AI加速器上运行,端到端吞吐量在不到两周内提升了3.2倍。此次优化由GLM-5.3自身驱动的AI智能体完成,该智能体发现并修复了三个实际工程问题,包括精度漂移和并发瓶颈。

Key insights

自我优化成果

智谱AI披露,GLM-5.3-Flash的全部生产推理现已在超过10万块国产AI加速器上运行。从首次运行到生产部署耗时不到两周,端到端吞吐量提升了3.2倍。优化工作由GLM-5.3驱动的人工智能智能体完成,而非人类工程师。CEO唐杰强调,该模型帮助优化了运行自身的系统。

工程挑战与权衡

部署环境较为苛刻:国产加速器内存和带宽有限,软件栈不成熟,存在缺失的内核和推测性的文档。该模型支持100万token上下文和多模态请求。优化涉及多项权衡:ReplaySSM(以计算换内存)、节点内张量并行(以通信换内存)、混合INT8/FP8/BF16缓存(以精度换容量)、以及编码-预填充-解码分离(以分离换调度灵活性)。

密集反馈系统

关键创新在于构建了一个分层验证接口,为智能体提供“密集反馈”。三种信号类型:正确性(计算是否正确?)、系统行为(时间花在哪里?)、以及性能(哪种方案在何种条件下胜出)。每种信号都是局部的、廉价的且可客观验证。这外化了高级工程师用于调试的隐式过程奖励。

发现并修复的三个实际错误

智能体发现并修复了三个工程问题。首先,KDA内核中的精度漂移:TF32舍入误差通过链式状态矩阵合并累积,随着上下文变长而加剧。其次,并发瓶颈:KV传输与DeepEP调度从未重叠,因为节点内路径未释放GIL。第三,冗余计算:一个解码内核由于块划分重复计算了四次相同的归一化;智能体重构后实现了1.71倍加速。

工程师角色转变

CEO唐杰指出,瓶颈不在于编写代码,而在于理解性能为何下降。密集反馈系统将工程师的角色从问题解决者转变为反馈设计者。人类仍负责定义目标、构建反馈环境以及审查高风险变更,而智能体则处理迭代优化循环。

递归自我改进愿景

唐杰强调了一个更深层的意义:为此任务构建的分层可验证反馈环境也是下一代模型的理想训练数据。每个完成的任务都成为后继模型的训练样本。他表示:“我们离递归自我改进还很远,但最小的闭环已经存在:模型优化系统,系统服务模型。”

Source posts