XNews

智谱AI使用GLM-5.3优化自身推理系统

智谱AI使用GLM-5.3优化自身推理系统

智谱AI利用由GLM-5.3本身驱动的AI智能体,对其运行在超过10万块国产AI加速器上的GLM-5.3-Flash推理系统进行了优化。该智能体在不到两周内实现了3.2倍的吞吐量提升。关键优化包括ReplaySSM、张量并行、混合精度缓存以及编码-预填充-解码分离,其实现得益于一个拥有本地、廉价、可验证信号的密集反馈系统。

Key insights

密集反馈环境赋能智能体

智谱AI团队构建了一个密集反馈系统,包含三类信号:正确性(计算是否正确?)、系统行为(时间花费在哪里?)和性能(哪种方案在何种条件下胜出?)。每个信号都是本地、廉价且可客观验证的。这使得智能体能够识别性能下降的根本原因,而无需依赖稀疏的最终奖励。关键洞察在于,为智能体设计环境比赋予智能体更多能力更为重要。

智能体发现并修复的三个实际工程问题

案例1:KDA内核的上下文并行路径精度随序列长度漂移,原因是TF32舍入误差通过链式状态矩阵合并累积。案例2:KV传输和DeepEP调度从未重叠,因为节点内路径未释放GIL,导致超过30%的开销降至不足1%。案例3:一个解码内核由于分块而重复计算了四次相同的归一化;智能体重新组织计算,实现了1.71倍加速,借鉴了SGLang、FLA和DeepGEMM的优化模式。每个案例展示了不同的能力:数值正确性归因、跨语言调试以及跨代码库模式迁移。

工程师角色从问题解决者转变为反馈设计者

智谱AI首席执行官唐杰表示,最重要的经验并非任何具体优化,而是工程师角色的转变。人类现在定义目标、构建反馈环境并审查高风险变更。工程师成为反馈系统的设计者,而非问题的解决者。团队的分层验证接口将资深工程师头脑中的隐性过程奖励外化。

递归自我改进循环正在形成

为智能体构建的反馈环境也作为下一代模型的训练材料。每个完成的任务都成为后继者的训练数据。唐杰评论说,尽管递归自我改进仍然遥远,但最小的闭环已经存在:模型优化系统,系统服务模型。

国产加速器部署的约束与权衡

部署条件充满挑战:国产加速器内存和互连有限,100万token上下文,多模态请求,软件栈不成熟(内核缺失、文档匮乏)。每项优化都涉及权衡:ReplaySSM以计算换内存,节点内张量并行以通信换内存,混合INT8/FP8/BF16缓存以精度换容量,编码-预填充-解码分离以分离换取调度灵活性。最终,国产芯片上的每token成本与主流Nvidia GPU持平。

Source posts