GLM-5.3 推理优化:AI智能体驱动

智谱AI表示,GLM-5.3-Flash的生产推理现已运行在超过10万个国产AI加速器上,由GLM-5.3驱动的智能体在两周内完成优化,吞吐量提升3.2倍。该智能体发现并修复了三个实际瓶颈,其中一个将开销从超过30%降至不到1%。
Key insights
GLM-5.3智能体在两周内重建自身生产推理
智谱AI披露,GLM-5.3-Flash的全部生产推理现已运行在超过10万个国产AI加速器上,从模型首次成功运行到全面投产仅用不到两周,端到端吞吐量提升3.2倍。大部分优化工作并非由工程团队完成,而是由GLM-5.3驱动的AI智能体完成。CEO唐杰表示,反复出现的想法是主要劳动力是模型本身,一个模型帮助优化运行它的系统,并且国产芯片的每token成本现已与主流Nvidia GPU持平。
受限硬件迫使每一步都做出明确权衡
部署环境要求苛刻:国产加速器内存和互连带宽有限,软件栈不成熟,缺少内核和文档,只能靠猜测;此外还需支持100万token上下文和多模态请求。每项优化都是权衡而非免费收益:ReplaySSM以计算换内存,节点内张量并行以通信换内存,混合INT8/FP8/BF16缓存以精度换容量,编码-预填充-解码分离以架构分离换调度自由。
密集反馈接口解决了真正的瓶颈:诊断
智谱AI总结的核心教训是,智能体几乎从未因无法编写代码而停滞,而是因为不知道性能为何变差:像‘吞吐量下降20%’这样的表述是稀疏奖励和信用分配问题,而端到端基准测试耗时数小时,使得探索成本高昂。公司将资深工程师的隐式过程奖励显式化为分层验证接口,称为密集反馈,包含三类信号:正确性(判断计算是否正确)、系统行为(判断时间花在哪里)、性能(判断在何种条件下哪种方案胜出)。每个信号必须本地化、廉价且可客观验证,本质上是为智能体设计环境,而非为其增加能力。
智能体发现并修复的三个实际瓶颈
智能体发现并修复了三个工程问题。第一,精度漂移:在KDA内核的上下文并行路径中,TF32舍入误差通过链式状态矩阵合并累积,随序列长度增长;修复方案已合并到开源项目Flash Linear Attention中。第二,并发瓶颈:KV缓存传输从未与DeepEP调度重叠,因为节点内路径未释放GIL,追踪跨越Python/C++边界;修复后,开销从超过30%降至不到1%。第三,冗余计算:解码内核因分块而四次计算相同的归一化;通过从SGLang、FLA和DeepGEMM内核代码中提取的优化骨架进行重构,实现了1.71倍加速。
三个案例涵盖智能体的不同能力
记录的三个案例旨在代表不同能力,而非轻松获胜。KDA精度漂移案例展示了数值正确性归因,追踪TF32舍入误差通过链式状态矩阵合并的累积。KV传输和DeepEP调度案例展示了跨语言边界的系统级调试,通过Python和C++跟踪调用链以找到未释放的GIL。解码内核案例展示了跨代码库的模式迁移,智能体应用从SGLang、FLA和DeepGEMM内核代码中提取的优化骨架,重构重复的归一化计算,获得1.71倍增益。
人类边界与同时作为训练数据的反馈环境
智谱AI划定了明确边界:人类定义目标、构建反馈环境并审查每一项高风险变更,将工程师的角色从问题解决者转变为反馈设计师。唐杰还指出了更深层的含义:建立在真实基础设施任务上的分层、可验证反馈环境正是训练下一代模型所需要的,因为每个完成的任务都成为后继模型的训练材料,将环境设计与数据飞轮融为一体。他的总结陈述是:‘我们距离递归自我改进还很远,但最小循环已经存在。模型优化系统,系统服务模型。’