智谱使用GLM-5.3优化自身推理系统,吞吐量提升3.2倍

智谱透露,在由GLM-5.3驱动的智能体优化自身系统后,GLM-5.3-Flash的生产推理现已运行在超过10万块国产AI加速器上。从首次运行到生产部署,吞吐量在不到两周内提升了3.2倍。智谱将此归功于密集反馈接口;人类负责设定目标并审查高风险变更。
Key insights
GLM-5.3驱动的智能体优化了自身推理系统
智谱表示,GLM-5.3-Flash的生产推理现已完全运行在超过10万块国产AI加速器上。这一优化工作由GLM-5.3驱动的Infra Agent完成,而非传统工程团队。从首次运行到生产部署耗时不到两周,端到端吞吐量提升了3.2倍。CEO唐杰表示,反复思考的核心是:模型本身成为了主要工作者,帮助优化运行它的系统。该项目在一篇关于递归自我改进的公司文章中披露。
硬件约束塑造了每项优化
部署条件包括国产加速器上有限的内存和互连接口带宽、不成熟的软件栈(缺少内核和稀疏的文档),以及100万token上下文和多模态请求。智谱将每项优化描述为一种权衡:ReplaySSM以计算换内存,节点内张量并行以通信换内存,混合INT8/FP8/BF16缓存以精度换容量,编码-预填充-解码分离以架构换调度灵活性。最终结果是每个token的成本与主流英伟达GPU相当。
卡住的智能体需要更好的反馈,而非更好的代码
唐杰表示,瓶颈不在于编写代码,而在于理解性能为何下降。像“吞吐量下降了20%”这样的消息并不能说明是哪个层或假设出了问题,也无法提示接下来该测试什么。端到端基准测试耗时数小时,使得探索成本高昂。他将此视为一个稀疏奖励和信用分配问题。资深工程师脑海中带有隐式的过程奖励,知道何时检查时间线、运行微观基准测试或比较层输出。智谱的解决方案是通过密集反馈将这种隐式经验显式化。
密集反馈信号是局部且可验证的
智谱系统中的密集反馈分为三种信号类型:正确性——判断计算是否正确;系统行为——指示时间花费在哪里;性能——告知哪种解决方案在何种条件下胜出。每个信号必须局部、获取成本低廉且客观可验证。唐杰将其描述为为智能体设计环境,而非赋予智能体更多能力。相同的反馈环境也会成为未来模型的训练素材,因为每项完成的任务都会成为后继者的训练案例。
智能体诊断并修复了三个真实漏洞
该智能体发现并修复了三个真实工程问题。首先,KDA的上下文并行路径存在精度漂移,因为TF32舍入误差在链式状态矩阵合并中累积;修复已并入Flash Linear Attention。其次,KV缓存传输与DeepEP分发从未重叠,因为节点内路径未能释放Python/C++边界上的GIL;修复后将开销从超过30%降至1%以下。第三,一个解码内核重复计算了四次相同的归一化;智能体利用从SGLang、FLA和DeepGEMM中提炼的内核模式对其重构,实现了1.71倍加速。
人类保持控制,工程师转变为反馈设计师
智谱让人类负责目标设定、反馈环境构建以及高风险变更的审查。工程师的角色从解决问题转变为设计反馈。唐杰提出了更深层的含义:建立在真实基础设施任务上的分层、可验证反馈环境,正是训练下一代模型所需的材料。他表示,该领域距离递归自我改进还很远,但最小的闭环已经存在:模型优化系统,系统运行模型。在他看来,这是当前循环的边界。