XNews

智谱AI Agent优化GLM-5.3-Flash推理系统

智谱AI Agent优化GLM-5.3-Flash推理系统

智谱AI宣布,其运行在超过10万块国产AI加速器上的GLM-5.3-Flash推理系统,通过一个基于GLM-5.3的智能体进行了优化。该智能体通过实施密集反馈环境,将专家直觉转化为可验证的接口,在大约两周内实现了端到端吞吐量提升3.2倍。

Key insights

工程约束与优化权衡

部署环境充满挑战:国产加速器内存和互联带宽有限,百万token上下文,多模态请求,以及不成熟的软件栈。因此所有优化都涉及权衡:ReplaySSM(以计算换内存)、节点内张量并行(以通信换内存)、混合INT8/FP8/BF16缓存(以精度换容量),以及编码-预填充-解码分离(以分离换调度自由度)。

诊断瓶颈:稀疏奖励与信用分配

关键难点不在于编写代码,而在于理解性能为何下降。‘吞吐量下降20%’是一个稀疏奖励和信用分配问题——它表明出了问题,但没有指出哪一层或哪个假设需要测试。端到端基准测试耗时数小时,使探索成本高昂。经验丰富的工程师依赖隐式的‘过程奖励’来知道何时检查时间线或微基准测试。

密集反馈环境:三种信号类型

智谱AI通过密集反馈环境将这种隐性知识显式化,包含三种信号类型:正确性(计算是否正确)、系统行为(时间花在哪里)和性能(哪个解决方案在何种条件下胜出)。每种信号必须局部、廉价且可客观验证。这实际上是为智能体设计环境,而非修补其能力。

案例一:TF32舍入误差导致的KDA精度漂移

智能体发现,在上下文并行路径中,KDA内核的精度随序列长度漂移。TF32舍入误差通过链式状态矩阵合并累积,导致更长上下文上精度下降。该修复已被合并到开源项目Flash Linear Attention中。

案例二:GIL导致KV传输与DeepEP调度无法重叠

KV缓存传输本应与计算重叠,但智能体发现它们从未重叠。通过追踪跨Python/C++边界的调用链,发现DeepEP的节点内路径未能释放全局解释器锁(GIL),阻止了传输线程的执行。修复后,开销从超过30%降至不到1%。

案例三:解码内核重复归一化

智能体发现一个解码内核因其分块方法而重复计算了四次相同的归一化。它重新组织了计算结构,实现了1.71倍的加速。优化思路来源于阅读SGLang、FLA和DeepGEMM的内核代码,并提炼出‘优化骨架’。

工程师角色转变与递归自我改进的启示

智谱CEO唐杰强调,边界仍在人类一方:设定目标、构建反馈环境以及审查有风险的更改。但工程师的角色正从问题解决者转变为反馈设计者。更深层的意义在于,这种分层可验证反馈环境具有双重作用:它既是智能体的工作空间,也是下一代模型的训练数据。唐杰总结道:‘我们离递归自我改进还很远,但最小的循环已经存在。模型优化系统,系统服务模型。’

Source posts