智谱AI GLM-5.3-Flash推理系统由AI智能体自我优化

智谱AI宣布,其运行在超10万块国产AI加速器上的GLM-5.3-Flash推理系统,由GLM-5.3自身驱动的AI智能体进行了优化。该系统从首次运行到全面投产仅用不到两周时间,端到端吞吐量提升3.2倍。该智能体解决了包括精度漂移和并发瓶颈在内的三个实际工程问题。
Key insights
智能体驱动优化实现3.2倍吞吐量提升
智谱AI披露,部署在超10万块国产AI加速器上的GLM-5.3-Flash推理系统,由GLM-5.3驱动的AI智能体进行了优化。从首次运行到全面投产不到两周时间,实现了端到端吞吐量3.2倍的提升。该智能体执行了多种优化,包括ReplaySSM(用计算换内存)、节点内张量并行(用通信换内存)、混合INT8/FP8/BF16缓存(用精度换容量)、以及编码-预填充-解码分离(用分离换调度灵活性)。
密集反馈系统使智能体能够调试复杂问题
该智能体的关键挑战并非编写代码,而是诊断性能下降的原因。智谱AI构建了分层验证接口,提供密集反馈:正确性(计算是否正确?)、系统行为(时间花在哪里?)、以及性能(哪种方案在什么条件下胜出)。每个信号都是局部的、低成本的且可客观验证。这使得智能体能够识别并修复三个实际问题:KDA内核中的TF32舍入误差累积、KV传输中的GIL阻塞、以及解码内核中的冗余归一化。
三个案例研究展示智能体能力
该智能体发现并修复了三个不同的工程问题。第一,KDA上下文并行路径中的精度漂移,原因是链式状态矩阵合并中TF32舍入误差累积。第二,KV传输和DeepEP调度无法重叠,因为节点内路径未释放GIL。第三,由于阻塞,一个解码内核重复计算了四次相同的归一化。每个案例代表不同的能力:数值正确性归因、跨语言系统调试、以及跨代码库的模式迁移。
工程师角色从问题解决者转变为反馈设计者
智谱AI CEO唐杰强调,边界依然存在:人类定义目标、构建反馈环境并审查高风险变更。工程师的角色正在从解决问题演变为设计反馈系统。分层可验证的反馈环境具有双重目的:它既是智能体的工作环境,也是下一代模型的训练材料。每项完成的任务都成为后继者的训练数据。
递归自我改进循环存在但仍遥远
唐杰表示,最小的闭环已经存在:模型优化系统,系统运行模型。然而,递归自我改进仍遥不可及。密集反馈环境设计用于重新训练未来模型,形成数据飞轮。该方法被视为迈向自主AI发展的一步。