XNews

GLM-5.3智能体优化GLM-5.3-Flash推理

GLM-5.3智能体优化GLM-5.3-Flash推理

智谱宣布,由GLM-5.3驱动的智能体在超过10万个国产加速器上优化了GLM-5.3-Flash推理,在不到两周内将吞吐量提升了3.2倍。密集反馈使智能体能够修复精度漂移、GIL并发错误和冗余计算,同时由人工审查高风险变更。

Key insights

智能体完成工作:从首次运行到生产仅两周

智谱透露,GLM-5.3-Flash生产推理目前运行在超过10万个国产AI加速器上,而优化工作是由GLM-5.3驱动的智能体而非工程团队完成的。从模型首次成功运行到生产部署仅用了不到两周时间,端到端吞吐量提升了3.2倍。CEO唐杰表示,主要劳动力是模型本身——一个帮助优化其运行系统的模型——并且国产芯片上的每token成本现已与主流NVIDIA GPU持平。

每项优化都是在严苛约束下的权衡

部署环境要求苛刻:国产加速器内存和互连带宽有限,软件栈不成熟,缺少内核和文档,只能猜测;此外还需支持100万token上下文和多模态请求。因此每项优化都是一次交换:ReplaySSM用计算换内存,节点内张量并行用通信换内存,混合INT8/FP8/BF16缓存用精度换容量,编码-预填充-解码分离用分离换调度自由。没有一项改动是免费的胜利。

密集反馈针对诊断而非编码能力

文章指出,智能体几乎从未因无法编写代码而停滞,而是因为不知道问题出在哪里。像‘吞吐量下降20%’这样的信号是一个稀疏奖励加信用分配问题——它报告了故障,但没有指明是哪一层、要验证的假设或下一步测试——而一次端到端基准测试运行需要数小时。智谱将高级工程师的隐式过程奖励显式化为‘密集反馈’:分层验证接口包含三类信号——正确性、系统行为和性能——每类都要求是局部的、廉价的且可客观验证。这是为智能体设计环境,而非为智能体增加能力。

三项修复展示了智能体的三种不同能力

智能体发现并修复了三个代表性问题,每个对应一种能力。数值正确性归因:在KDA上下文并行路径中,TF32舍入误差通过链式状态矩阵合并累积,导致精度漂移随序列长度增加;修复已合并到开源Flash Linear Attention中。跨语言系统调试:KV缓存传输从未与DeepEP调度重叠,因为节点内路径未能在Python/C++边界释放GIL;修复后,开销从超过30%降至1%以下。跨代码库模式迁移:一个解码内核因其分块方式重复计算了四次相同的归一化;使用从SGLang、FLA和DeepGEMM内核中提炼的‘优化骨架’进行重构,实现了1.71倍加速。

人类保留目标、环境和高风险审查

两篇文章都强调了界限:人类定义目标、构建反馈环境并审查每一项高风险变更。唐杰将此视为最重要的教训——比任何单项优化都重要。由此带来的角色转变:工程师从解决问题的人转变为设计反馈的人。密集反馈接口建立在真实基础设施任务之上,而非合成基准测试;文章指出,高级工程师的优势已在于隐式过程奖励——知道何时检查时间线、运行微基准测试以及比较层输出——这些现在被编码为面向智能体的工具。

反馈环境兼作训练数据飞轮

指出的最深层次含义:建立在真实基础设施任务之上的分层、可验证反馈环境正是训练下一代模型所需要的,因为智能体完成的每一项任务都成为其后继者的训练材料——将环境设计与数据飞轮相结合。唐杰的总结表述:‘我们距离递归自我改进还很远,但最小循环已经存在;模型优化系统,系统服务模型。’官方文章标题为《迈向递归自我改进:GLM如何构建自己的推理基础设施》。

Source posts