XNews

GLM-5.3-Flash 推理性能由其自身AI智能体优化

GLM-5.3-Flash 推理性能由其自身AI智能体优化

智谱AI(Z.ai)宣布,GLM-5.3-Flash 在超过10万块国产加速器上的生产推理任务,由基于GLM-5.3自身驱动的AI智能体进行了优化。该智能体在不到两周内实现了3.2倍的端到端吞吐量提升,并通过密集反馈系统修复了精度漂移和内核效率低下等问题。

Key insights

两周内实现3.2倍吞吐量提升

智谱AI报告称,GLM-5.3-Flash的生产推理系统在超过10万块国产AI加速器上运行,实现了3.2倍的端到端吞吐量提升。从首次运行到全面投产,优化在不到两周内完成。该系统支持100万token上下文和多模态请求。

由GLM-5.3驱动的AI智能体执行优化

优化工作由基于GLM-5.3自身驱动的AI智能体完成。智谱CEO唐杰指出,该模型帮助优化了运行它的系统。智能体使用了包含三种信号类型的密集反馈系统:正确性(计算是否正确?)、系统行为(时间花在哪里?)和性能(哪种方案在什么条件下胜出)。每种信号都是局部的、低成本的且可客观验证的。

具体修复:KDA内核中的精度漂移

智能体发现,在上下文并行路径中,链式状态矩阵合并过程中TF32舍入误差累积,导致精度漂移,且随序列长度增加而恶化。该修复已合并到开源项目Flash Linear Attention中。

具体修复:KV传输与DeepEP调度重叠

智能体发现KV缓存传输和DeepEP调度未能按预期重叠。通过追踪跨越Python/C++边界的调用链,它识别出DeepEP中的节点内路径未释放全局解释器锁(GIL),导致传输线程无法执行。修复后,开销从超过30%降至不到1%。

具体修复:解码内核重复归一化

一个解码内核由于分块而重复计算了四次相同的归一化。智能体重组了计算,实现了1.71倍的加速。优化思路来源于阅读SGLang、FLA和DeepGEMM的内核代码,提炼出'优化骨架'。

工程约束与权衡

部署环境存在严重约束:国产加速器内存和互连带宽有限,软件栈不成熟,缺少内核和文档。所有优化都涉及权衡:ReplaySSM(以计算换内存)、节点内张量并行(以通信换内存)、混合INT8/FP8/BF16缓存(以精度换容量)、以及编码-预填充-解码分离(以分离换调度灵活性)。

迈向递归自我改进

唐杰强调,为智能体构建的密集反馈环境也是未来模型宝贵的训练数据。每完成一个任务都成为后继模型的训练示例。他表示,虽然递归自我改进仍遥遥无期,但最小的闭环已经存在:模型优化系统,系统服务模型。工程师的角色从问题解决者转变为反馈设计者。

Source posts