智谱AI利用GLM-5.3优化自身推理系统

智谱AI透露,GLM-5.3-Flash的生产推理现已在超过10万个国产AI加速器上运行,由GLM-5.3自身驱动的AI代理实现了3.2倍的吞吐量提升。该代理利用分层验证反馈系统,修复了包括精度漂移和GIL瓶颈在内的三个关键问题。
Key insights
工程约束与权衡
部署环境具有挑战性:国产加速器内存和带宽有限,百万级token上下文,多模态请求,以及不成熟的软件栈。每项优化都涉及权衡:ReplaySSM(用计算换内存)、节点内张量并行(用通信换内存)、混合INT8/FP8/BF16缓存(用精度换容量),以及编码-预填充-解码分离(用灵活性换调度)。
密集反馈系统作为关键使能器
瓶颈不在于代码生成,而在于诊断性能下降的原因。智谱构建了分层验证接口,提供三种类型的密集反馈:正确性(计算是否正确?)、系统行为(时间花在哪里?)和性能(哪种方案在什么条件下胜出?)。每个信号都是局部的、低成本的、可客观验证的,这实际上是为代理设计环境,而非增强其能力。
代理修复的三个实际问题
代理发现并修复了:(1)KDA上下文并行路径精度漂移,原因是链式状态矩阵合并中的TF32舍入误差累积;(2)KV传输和DeepEP调度未重叠,因为节点内路径未释放GIL;(3)一个解码核由于阻塞而重复计算了四次相同的归一化。每个案例展示了不同的能力:数值正确性归因、跨语言系统调试和跨代码库模式迁移。
对递归自我改进的启示
智谱CEO唐杰强调,反馈环境具有双重用途:它既是代理的工作环境,也是未来模型的训练数据。每个完成的任务都成为后续模型的训练示例。他表示,虽然完全递归自我改进还很遥远,但最小的闭环已经存在:‘模型优化系统,系统服务模型。’