智谱AI GLM-5.3-Flash推理优化

智谱AI宣布,其GLM-5.3-Flash推理系统在超过10万个国产加速器上运行,由GLM-5.3驱动的AI智能体进行了优化。该智能体在不到两周内实现了3.2倍的端到端吞吐量提升,采用了ReplaySSM和混合精度缓存等技术来克服硬件限制。
Key insights
AI智能体在国产加速器上实现3.2倍吞吐量提升
智谱AI的GLM-5.3-Flash模型部署在超过10万个国产AI加速器上,由GLM-5.3驱动的AI智能体进行了优化。该智能体在不到两周内完成了优化,实现了3.2倍的端到端吞吐量提升。关键技术包括ReplaySSM(用计算换内存)、节点内张量并行(用通信换内存)以及混合INT8/FP8/BF16缓存(用精度换容量)。部署面临内存有限、带宽不足和软件栈不成熟等限制,但智能体的工作使单token成本与主流NVIDIA GPU持平。
智能体调试框架使用密集反馈信号
优化过程显示,智能体的主要挑战不是编写代码,而是诊断性能下降的原因。智谱AI通过创建具有密集反馈信号的分层验证接口解决了这一问题:正确性(计算是否正确)、系统行为(时间花在哪里)和性能(哪种解决方案在什么条件下更优)。每个信号都满足局部性、低成本和客观可验证的标准。该框架使智能体能够识别并修复三个实际问题:KDA内核中的精度漂移、DeepEP节点内路径的GIL瓶颈以及解码内核中的冗余归一化,在一个案例中实现了1.71倍的加速。
工程师角色从问题解决者转变为反馈设计者
智谱AI CEO唐杰表示,关键收获不是任何单一优化,而是工程师角色的转变。现在,人类定义目标、构建反馈环境并审查高风险变更,而AI智能体处理实际的优化工作。这种方法将智能体的隐式经验转化为显式的分层验证接口。唐杰指出,这种环境也为下一代模型提供训练数据,形成数据飞轮。他强调,虽然递归自我改进还很遥远,但最小的闭环已经存在:模型优化系统,系统运行模型。