XNews

GLM-5.3智能体优化自身推理栈,吞吐量提升3.2倍

GLM-5.3智能体优化自身推理栈,吞吐量提升3.2倍

智谱AI披露,其由GLM-5.3驱动的Infra Agent在超过10万块国产AI加速器上对GLM-5.3-Flash的推理栈进行了优化,在两周内实现了3.2倍的吞吐量提升。该智能体发现并修复了三个真实工程问题,其中包括精度漂移和并发瓶颈。

Key insights

自我优化智能体

由GLM-5.3驱动的Infra Agent自主优化了GLM-5.3-Flash的生产推理栈。该系统部署于超过10万块国产加速器之上,从首次运行到投入生产,端到端吞吐量在不到两周内提升了3.2倍。智谱CEO唐杰强调,大部分优化工作由该智能体完成。

充满挑战的部署条件

国产加速器的内存与带宽有限;软件栈尚不成熟,存在算子缺失、文档匮乏等问题。GLM-5.3-Flash需要1M上下文与多模态支持。每一项优化都涉及权衡:以计算换内存(ReplaySSM)、以通信换内存(张量并行)、以精度换容量(INT8/FP8/BF16混合精度)。

关键瓶颈:理解性能为何退化

该智能体时常陷入僵局,并非因为不会写代码,而是因为不知道性能为何回退。“吞吐量下降20%”是一个涉及信用分配的稀疏奖励问题。解决方案是构建分层验证接口,提供密集反馈信号:正确性、系统行为与性能。

智能体发现的三个具体修复

1) KDA算子精度漂移:在长上下文场景下,TF32舍入误差随序列状态矩阵合并逐步累积。2) KV传输与DeepEP分发未能重叠执行:智能体跨Python/C++追踪调用链,发现GIL未被释放。3) 由于分块划分方式,解码算子重复计算归一化四次。智能体重构了计算流程,实现1.71倍加速。

开源与知识迁移

精度漂移修复方案已合并至开源项目Flash Linear Attention。该智能体的优化骨架源自对SGLang、FLA和DeepGEMM中算子代码的研读。这体现了跨代码库的模式迁移能力。

工程师角色的转变

唐杰指出,工程师的角色正从问题解决者转变为反馈设计者。人类负责定义目标、构建反馈环境并审查高风险变更,而智能体则执行优化循环。密集反馈环境同时也可作为下一代模型的训练数据。

迈向递归自我改进

论文《迈向递归自我改进》将此描述为一个最小闭环:模型优化系统,系统服务模型。尽管距离完全的递归自我改进尚远,但这表明AI能够迭代地改进自身的基础设施。

Source posts