智谱GLM-5.3智能体优化自身推理系统

智谱AI披露,其由GLM-5.3驱动的基础设施智能体在不到两周内,于超过10万台国产AI加速器上优化了GLM-5.3-Flash推理系统,将吞吐量提升3.2倍。该智能体利用密集反馈系统修复了包括精度漂移和并发瓶颈在内的真实工程问题。
Key insights
在挑战性硬件上的智能体驱动优化
该优化在内存和带宽受限的国产加速器上执行,运行100万token上下文的多模态请求。基础设施智能体采用了四种关键权衡:以计算换内存(ReplaySSM)、以通信换内存(张量并行)、以精度换容量(INT8/FP8/BF16混合缓存)、以分离换调度灵活性(编码-预填充-解码分离)。最终的单token成本与主流Nvidia GPU持平。
密集反馈设计:从稀疏奖励到可执行信号
智谱发现,主要瓶颈不在于编写代码,而在于诊断性能为何下降。他们构建了一个分层验证接口,提供三类信号:正确性(计算准确性)、系统行为(时间分配)和性能(方案在特定条件下的优越性)。每个信号都是局部、低成本且可客观验证的,实际上为智能体提供了明确的“过程奖励”,而非稀疏奖励。
智能体发现并修复的三个真实Bug
该智能体发现并修复了三个非平凡的工程问题。首先,KDA上下文并行路径中的TF32舍入误差导致精度漂移链式累积;修复已合并到Flash Linear Attention中。其次,KV传输与DeepEP调度无法重叠,原因是节点内路径未能释放GIL,从而隐藏了并发瓶颈。第三,一个解码内核将同一计算归一化了四次;智能体使用从开源内核中提炼的优化模式对其重构,实现了1.71倍加速。
对递归自我改进的启示
智谱CEO表示,分层可验证反馈环境具有双重目的:它既是智能体的工作环境,也是未来模型的训练数据,因为每完成一个任务,都会成为后继模型的训练样本。他们将其描述为通往递归自我改进的“最小闭环”,即模型优化系统,系统服务模型。