智谱GLM-5.3优化自身推理基础设施

智谱GLM-5.3-Flash利用由模型自身驱动的AI智能体优化其推理基础设施,在两周内实现了3.2倍的吞吐量提升。该系统目前运行在超过10万张国产AI加速器上,支持100万token上下文,且每token成本与主流英伟达GPU相当。
Key insights
自优化成就
智谱透露,GLM-5.3-Flash的所有生产推理现已运行在超过10万张国产AI加速器上。从首次运行到正式投产,该模型在不到两周的时间内实现了3.2倍的端到端吞吐量提升。优化工作由GLM-5.3自身驱动的AI智能体完成,而非人工工程师。CEO唐杰指出,该模型帮助优化了运行自身的系统。
工程约束与权衡
部署环境充满挑战:国产加速器内存和互连带宽有限,软件栈不成熟,缺少内核且文档匮乏。GLM-5.3-Flash还需支持100万token上下文和多模态请求。每项优化都涉及权衡:用计算换内存(ReplaySSM),用通信换内存(节点内张量并行),用精度换容量(混合INT8/FP8/BF16缓存),以及用分离换调度灵活性(编码-预填充-解码分离)。
已实施的具体优化
该智能体实施了多项关键优化:ReplaySSM用计算换取内存,节点内张量并行用通信换取内存,混合INT8/FP8/BF16缓存用精度换取容量,以及编码-预填充-解码分离用架构分离换取调度自由。这些优化使国产芯片实现了与主流英伟达GPU相当的每token成本。
密集反馈系统设计
智谱构建了一个名为“密集反馈”的分层验证接口来引导智能体。它提供三类信号:正确性(计算是否正确?)、系统行为(时间花在哪里?)以及性能(哪种方案在什么条件下胜出?)。每个信号必须具有局部性、低成本且可客观验证。这种方法将资深工程师的隐性经验转化为智能体可调用的显式接口。
发现并修复的实际错误
该智能体识别并修复了三个实际工程问题。第一,KDA上下文并行路径中的精度漂移:TF32舍入误差通过链式状态矩阵合并累积,已修复并合并到Flash Linear Attention中。第二,KV传输与DeepEP调度未重叠:智能体跨Python/C++边界追踪调用链,发现节点内路径未释放GIL,将开销从超过30%降至1%以下。第三,解码内核因分块重复了四次相同的归一化操作;智能体重组计算实现了1.71倍加速,优化框架源自对SGLang、FLA和DeepGEMM内核代码的研读。
人类角色与未来展望
智谱强调,人类仍然负责设定目标、构建反馈环境并审查高风险变更。然而,工程师的角色正从问题解决者转变为反馈设计者。唐杰指出,分层可验证反馈环境具有双重目的:它既是智能体的工作环境,也是未来模型的训练数据。他表示:“我们距离递归自我改进还很遥远,但最小的闭环已经存在:模型优化系统,系统服务于模型。”