AI智能体驱动的GLM-5.3-Flash推理优化

智谱AI宣布其GLM-5.3-Flash模型的生成式推理已在超过10万块国产AI加速器上全面运行,两周内端到端吞吐量提升3.2倍。该优化由GLM-5.3自身驱动的AI智能体完成,在硬件条件受限的情况下,实现了每token成本与主流英伟达GPU持平。
Key insights
优化技术与权衡策略
工程环境极为苛刻:加速器内存与互联带宽有限、1M token上下文、多模态请求,以及不成熟的软件栈(缺少核心算子、文档需猜测)。所有优化均为权衡取舍:ReplaySSM(计算换内存)、节点内张量并行(通信换内存)、混合INT8/FP8/BF16缓存(精度换容量)、以及编码-预填充-解码分离(灵活性换调度)。最终国产芯片上的每token成本与主流英伟达GPU持平。
智能体的调试方法:密集反馈
智能体的主要瓶颈并非编码,而是诊断性能下降(例如吞吐量下降20%)。这被归结为稀疏奖励与信用分配问题。解决方案是将人类隐性知识显式化为分层验证接口(密集反馈),包含三种信号类型:正确性、系统行为及性能。每种信号必须局部、廉价且可客观验证。这实质上是为智能体设计环境,而非补充其能力。
发现并修复的三个真实工程案例
智能体识别并修复了三个实际工程问题:1) KDA核心中的精度漂移——TF32舍入误差在链式状态矩阵合并中累积(已合并至Flash Linear Attention)。2) KV传输与DeepEP调度无法重叠,因为节点内路径未释放GIL,导致开销从>30%降至<1%。3) 解码核心因块划分重复四次计算相同归一化;通过应用从SGLang、FLA和DeepGEMM中提炼的优化框架进行重构,实现了1.71倍加速。
更广泛的启示:环境设计作为数据飞轮
CEO唐杰表示,虽然人类定义目标、构建反馈环境并审核高风险变更,但工程师的角色已从问题解决者转变为反馈设计者。分层可验证反馈环境具有双重用途:既是智能体的工作环境,也是下一代模型的训练素材——每项完成的任务都会成为后继者的训练数据。唐杰总结道,虽然递归自我改进仍相距甚远,但最小的闭环已经存在:模型优化系统,系统运行模型。