智谱GLM-5.3-Flash经由AI智能体实现推理优化

智谱AI宣布,其GLM-5.3-Flash模型现已在超过10万块国产AI加速器上运行,推理吞吐量在不到两周内提升了3.2倍。此次优化由一个由GLM-5.3自身驱动的AI智能体完成,采用了ReplaySSM、张量并行和混合精度缓存等技术。
Key insights
智能体驱动优化实现3.2倍吞吐量提升
智谱AI披露,GLM-5.3-Flash的生产推理现已部署在超过10万块国产AI加速器上。从首次运行到全面投产,端到端吞吐量在不到两周内提升了3.2倍。所有主要优化均由GLM-5.3驱动的AI智能体完成,而非人类工程师。部署条件颇具挑战:加速器内存和带宽有限、软件栈尚不成熟,同时需要支持100万token上下文和多模态请求。
密集反馈系统替代稀疏奖励用于智能体调试
关键创新在于将隐含的工程经验转化为一种名为‘密集反馈’的分层验证接口。定义了三种信号类型:正确性(计算是否正确?)、系统行为(时间花在哪里?)和性能(何种条件下哪种方案胜出)。每种信号都必须局部、廉价且可客观验证。这种设计为智能体提供了一个可供探索的环境,而不仅仅是增加能力。
智能体发现并修复了三个实际工程错误
该智能体发现并修复了三个不同的工程问题。首先,KDA上下文并行路径中的TF32舍入误差通过链式状态矩阵合并累积,导致长序列出现精度漂移。其次,KV缓存传输与DeepEP分派无法重叠,因为节点内路径未释放GIL,阻塞了传输线程。第三,由于分块划分,一个解码内核重复计算了四次相同的归一化;智能体利用从SGLang、FLA和DeepGEMM中提炼的优化框架对其进行重构,实现了1.71倍加速。
工程师角色从问题解决者转变为反馈设计者
智谱CEO唐杰强调,瓶颈不在于代码编写,而在于理解性能为何下降。智能体的稀疏奖励问题(例如,‘吞吐量下降20%’而无具体位置)反映了强化学习中的信用分配挑战。解决方案是让人定义目标、构建反馈环境并审核高风险变更。工程师现在设计反馈系统,而非直接解决每个优化问题。
递归自我改进循环:模型优化系统,系统服务于模型
唐杰指出,分层验证环境具有双重作用:它既是智能体的工作环境,也是下一代模型的训练数据。每项完成的任务都成为后续模型的训练素材。他表示:‘我们距离递归自我改进还很远,但最小的闭环已经存在:模型优化系统,系统运行模型。’