GLM-5.3智能体优化自身推理系统

智谱AI披露,一个由GLM-5.3驱动的智能体在超过10万块国产加速器上优化了其自身的生产推理系统,两周内将吞吐量提升3.2倍。智谱将这一成果归功于覆盖正确性、系统行为与性能的分层反馈接口,而高风险变更仍由人工审核。
Key insights
GLM-5.3智能体优化自身生产推理系统
智谱披露,GLM-5.3-Flash的全部生产推理运行在超过10万块国产AI加速器上,从首次成功运行到正式投产仅用不到两周时间,端到端吞吐量提升3.2倍。绝大部分优化工作由GLM-5.3自身驱动的智能体完成,而非工程团队。首席执行官唐杰强调,主要的工作力量是模型本身——由一个模型帮助优化承载其运行的系统,并指出国产芯片的每token成本现已比肩主流英伟达GPU。
严苛约束下,每一次优化都是权衡
部署条件包括:国产加速器的内存与互联带宽受限,软件栈尚不成熟,存在算子缺失、文档缺失而只能靠推测的情况,同时还需满足1M token上下文与多模态请求的要求。每一项优化都是明确的权衡:ReplaySSM以计算换内存,节点内张量并行以通信换内存,INT8/FP8/BF16混合缓存以精度换容量,编码-预填充-解码分离则以架构耦合换取调度自由。
解锁智能体性能的是稠密反馈,而非代码能力
唐杰表示,智能体之所以停滞,并非因为它不会写代码,而是因为它不知道情况为何变糟:吞吐量下降20%只能表明存在问题,却无法揭示问题出在哪一层、应验证何种假设、下一步测试什么,这本质上是一个稀疏奖励叠加信用分配的问题,而单次端到端基准测试就要耗时数小时。智谱给出的答案是稠密反馈:分层验证接口提供三类信号——正确性(是否算对了)、系统行为(时间花在哪里)与性能(哪种方案在何种条件下胜出)——且每类信号都须做到局部化、低成本、可客观验证。这是在为智能体设计环境,而非为其能力打补丁。
智能体发现并修复的三个真实缺陷
其一,在上下文并行路径上,KDA算子的精度随序列长度发生漂移,原因是TF32舍入误差在链式状态矩阵合并过程中不断累积;该修复已合入开源的Flash Linear Attention项目。其二,KV缓存传输始终无法与DeepEP分发操作重叠进行,原因是节点内路径跨越C++边界时未释放Python的GIL;智能体追踪调用链后,开销从30%以上降至1%以下。其三,某个解码算子因其分块方案而将同一归一化计算重复了四次;重构后取得1.71倍加速,所用的优化骨架是智能体通过研读SGLang、FLA与DeepGEMM的算子代码提炼而成。
工程师从问题解决者转向反馈设计者
边界仍由人类划定:目标设定、反馈环境构建以及每一项高风险变更的审核都掌握在人手中,但工程角色正从解决问题转向设计反馈。所披露的三个案例分别锻炼了一种不同的能力——数值正确性归因、跨语言边界的系统调试以及跨代码库的模式迁移——表明案例选取具有代表性,而非唾手可得的简单成果。资深工程师那些隐性的过程奖励——知道何时检查时间线、何时运行微基准测试、何时比较各层输出——被显式化为可供调用的接口。
反馈环境兼作下一代模型的训练数据
唐杰认为,基于真实基础设施任务构建的分层可验证反馈环境具有双重作用:它既是智能体的工作环境,又因为每个已完成任务都会成为后继者的训练材料,而成为下一代模型的训练场,从而将环境设计与数据飞轮融为一体。他的结语是:我们距离递归自我改进还很遥远,但最小闭环已然存在——模型优化系统,系统服务模型。