XNews

GLM-5.3-Flash 推理由自身AI智能体优化

GLM-5.3-Flash 推理由自身AI智能体优化

智谱披露,GLM-5.3-Flash 推理运行在超过10万块国产AI加速器上,吞吐量在两周内提升了3.2倍。优化由GLM-5.3自身驱动的AI智能体执行,采用分层验证反馈系统。该智能体识别并修复了三个实际工程问题。

Key insights

优化结果与约束

GLM-5.3-Flash 推理部署在超过10万块国产AI加速器上,这些加速器内存和互连带宽有限。该模型支持1M token上下文和多模态请求。吞吐量在两周内端到端提升了3.2倍。关键权衡包括ReplaySSM(计算换内存)、节点内张量并行(通信换内存)、混合INT8/FP8/BF16缓存(精度换容量),以及编码-预填充-解码分离(灵活性换调度)。单token成本与主流NVIDIA GPU相当。

AI智能体驱动的优化过程

优化由GLM-5.3自身驱动的AI智能体执行。智能体面临稀疏奖励和信用分配问题:“吞吐量下降20%”表明有问题,但不知道在哪里。智谱构建了一个分层验证反馈系统,包含三种信号类型:正确性(计算是否正确?)、系统行为(时间花在哪里?)和性能(哪种解决方案在什么条件下胜出)。每种信号都是局部的、廉价的且可客观验证。

发现并修复的三个工程问题

智能体发现了三个实际问题:(1)KDA上下文并行路径精度漂移:TF32舍入误差在链式状态矩阵合并中累积,随上下文变长而恶化。(2)KV传输和DeepEP调度未重叠:智能体追踪了跨Python/C++边界的调用链,发现节点内路径未释放GIL,导致传输线程从未执行。(3)解码内核由于分块重复了四次相同的归一化;智能体重构了计算,实现了1.71倍加速,使用了从阅读SGLang、FLA和DeepGEMM内核代码中提炼的优化框架。

工程师角色转变与递归自我改进愿景

智谱CEO唐杰强调,瓶颈不在于编写代码,而在于知道为什么情况变糟。智能体的分层验证环境将工程师的隐性经验转化为显性信号。工程师从问题解决者转变为反馈设计者。唐指出,每项完成的任务都成为下一代模型的训练材料,形成数据飞轮。他表示:“我们离递归自我改进还很远,但最小的循环已经存在:模型优化系统,系统服务模型。”

边界与人类监督

人类仍然定义目标、构建反馈环境并审查高风险变更。智能体的自主性受这些人类设定的护栏约束。分层验证系统被描述为“一鱼两吃”:它既作为智能体的工作环境,又作为未来模型的训练数据。该方法尚未完全自主,但展示了一个最小的自我改进闭环。

Source posts