XNews

GLM-5.3智能体优化自身推理系统(吞吐量提升3.2倍)

GLM-5.3智能体优化自身推理系统(吞吐量提升3.2倍)

Z AI的GLM-5.3-Flash推理系统由GLM-5.3自身驱动的AI智能体完成优化,在超过10万张国产加速卡上,于不到两周时间内实现了3.2倍的吞吐量。该智能体借助密集反馈系统识别并修复了包括精度漂移和并发瓶颈在内的三个工程问题。

Key insights

智能体驱动优化实现3.2倍吞吐量

Z AI披露,GLM-5.3-Flash的生产级推理运行在超过10万张国产AI加速卡上。从首次运行到投入生产用时不到两周,端到端吞吐量提升了3.2倍。此次优化由GLM-5.3自身驱动的AI智能体完成。CEO唐杰指出,该模型正在帮助优化运行自身的系统。

部署条件充满挑战

此次部署采用的国产加速卡内存与带宽有限,软件栈尚不成熟(内核缺失、文档全凭猜测),且需支持100万token上下文和多模态请求。每项优化均涉及权衡取舍:ReplaySSM(以计算换内存)、节点内张量并行(以通信换内存)、INT8/FP8/BF16混合缓存(以精度换容量),以及编码-预填充-解码分离(以灵活性换调度)。最终单token成本与主流英伟达GPU持平。

密集反馈系统是关键使能因素

该智能体的主要瓶颈不在于编写代码,而在于理解性能为何下降。20%的吞吐量下降是一个存在信用分配问题的稀疏奖励。Z AI构建了一套包含三类信号的密集反馈系统:正确性(结果是否正确?)、系统行为(时间消耗在哪里?)和性能(哪种方案在何种条件下更优?)。每类信号都是局部的、低成本的,且可客观验证。这使工程师的角色从问题解决者转变为反馈设计者。

发现并修复三个工程问题

该智能体发现了三个真实问题:(1)KDA上下文并行路径中出现精度漂移,原因是TF32舍入误差在链式状态矩阵合并过程中不断累积;(2)KV传输与DeepEP分发未能重叠,原因是节点内路径未释放GIL;(3)由于分块处理,某个解码内核将同一归一化计算重复了四次。相应的修复措施分别为:将相关计算合并进Flash Linear Attention、将开销从30%降至1%以下、实现1.71倍加速。

对递归自我改进的启示

唐杰强调,密集反馈环境具有双重用途:它既是智能体的工作环境,也是未来模型的训练数据。每项已完成的任务都会成为后续模型的训练素材。他表示:“我们距离递归自我改进还很遥远,但最小的循环已经存在:模型优化系统,系统运行模型。”

Source posts