XNews

GLM-5.3智能体优化自身推理系统

GLM-5.3智能体优化自身推理系统

智谱AI披露,其GLM-5.3-Flash模型的推理系统由GLM-5.3自身驱动的AI智能体进行了优化。该系统运行在超过10万个国产AI加速器上。两周内端到端吞吐量提升了3.2倍,所有主要优化均由该智能体完成。

Key insights

智能体利用密集反馈解决了三个实际工程问题

该智能体识别并修复了KDA内核中的精度漂移(TF32舍入误差累积)、KV缓存传输未能重叠的并发瓶颈(由于GIL未释放),以及解码内核中的冗余计算(归一化计算了四次)。每次修复都得益于一个分层验证环境,该环境提供了正确性、系统行为和性能信号。

优化是在国产硬件限制下的权衡

在内存和带宽有限的国产加速器上部署迫使做出权衡:ReplaySSM以计算换内存,节点内张量并行以通信换内存,混合INT8/FP8/BF16缓存以精度换容量,编码-预填充-解码分离以分离换调度灵活性。单个token成本与领先的Nvidia GPU持平。

人类角色从问题解决者转变为反馈设计者

智谱CEO唐杰强调,人类仍然定义目标、构建反馈环境并审查高风险变更。密集反馈层是一种显式过程奖励形式,使智能体能够定位问题。该环境同时作为后续模型的训练数据,形成闭环:模型优化系统,系统服务模型。

Source posts