智谱GLM-5.3-Flash优化自身推理系统

智谱AI宣布,GLM-5.3-Flash的推理系统由GLM-5.3驱动的智能体完成优化,在超过10万个国产加速器上实现两周内吞吐量提升3.2倍。该智能体利用密集反馈环境发现并修复了三个实际工程问题。
Key insights
GLM-5.3智能体优化自身推理基础设施
智谱AI披露,GLM-5.3-Flash的生产推理现已在超过10万个国产AI加速器上运行。从首次运行到全面投产的优化耗时不到两周,端到端吞吐量提升3.2倍。该工作由GLM-5.3驱动的AI智能体完成,而非人类工程师。首席执行官唐杰指出,该模型帮助优化了运行自身的系统。
优化是在受限硬件下的权衡取舍
部署环境面临国产加速器内存和带宽有限、软件栈不成熟等问题,同时需要支持100万token上下文和多模态请求。优化措施包括:ReplaySSM(以计算换内存)、节点内张量并行(以通信换内存)、混合INT8/FP8/BF16缓存(以精度换容量)、以及编码-预填充-解码分离(以灵活性换调度)。这些权衡使得单token成本与主流NVIDIA GPU持平。
密集反馈环境使智能体能够找到根本原因
关键洞察在于,智能体之所以陷入困境,并非因为它不会写代码,而是因为它不知道性能为何下降。智谱构建了一个分层验证接口,提供密集反馈:正确性(计算是否正确?)、系统行为(时间消耗在哪里?)和性能(哪种解决方案在什么条件下胜出?)。每个信号都是局部的、低成本的且可客观验证。这将智能体隐式的过程奖励转化为显式信号。
智能体发现并修复了三个实际工程问题
该智能体识别并解决了三个问题:(1)KDA上下文并行路径中的精度漂移,原因是在链式状态矩阵合并中TF32舍入误差不断累积,已在Flash Linear Attention中修复。(2)KV传输与DeepEP调度因节点内路径未释放GIL而无法重叠;修复后开销从30%降至1%以下。(3)解码内核由于平铺(tiling)而重复计算同一归一化四次;智能体利用从SGLang、FLA和DeepGEMM中提炼的优化骨架重构了计算,实现了1.71倍加速。
工程师角色从问题解决者转变为反馈设计者
唐杰强调,人类仍然负责定义目标、构建反馈环境并审查高风险变更。但工程师的角色正在从解决问题演变为设计反馈系统。密集反馈环境具有双重目的:它既使智能体能够工作,也为未来模型生成训练数据。每完成一项任务都会成为后续模型的训练材料,形成数据飞轮。