XNews

AI 智能体实现 GLM-5.3 推理自优化

AI 智能体实现 GLM-5.3 推理自优化

智谱 AI 宣布,GLM-5.3-Flash 推理现已运行在超过 10 万个国产加速器上,在不到两周的时间内实现了 3.2 倍的吞吐量提升。这些优化是由一个由 GLM-5.3 自身驱动的 AI 智能体完成的,它使用密集反馈系统来识别和修复精度漂移、并发瓶颈等问题。

Key insights

AI 智能体在国产硬件上实现 3.2 倍吞吐量提升

智谱 AI 将 GLM-5.3-Flash 部署在超过 10 万个内存和带宽有限的国产 AI 加速器上。一个由 GLM-5.3 驱动的 AI 智能体在不到两周的时间内完成了优化,实现了 3.2 倍的端到端吞吐量提升。该智能体使用了 ReplaySSM、张量并行、混合精度缓存以及编码-预填充-解码分离等技术,以资源换取性能。

密集反馈系统使智能体能够诊断性能问题

当吞吐量下降时,智能体面临稀疏奖励和信用分配问题。智谱 AI 构建了一个分层验证接口,提供密集反馈:正确性信号(计算是否正确?)、系统行为信号(时间花在哪里?)以及性能信号(在什么条件下哪种解决方案胜出?)。每个信号都是局部的、廉价的且可客观验证的。

智能体发现并修复了三个实际工程问题

该智能体发现并修复了三个工程问题:KDA 内核中的精度漂移,这是由于 TF32 舍入误差在链状态矩阵合并中累积;一个并发瓶颈,其中 KV 传输和 DeepEP 调度无法重叠,因为节点内路径未释放 GIL;以及一个解码内核由于分块而重复计算了四次相同的归一化。这些修复提升了性能,并已合并到开源项目中。

工程师角色从问题解决者转变为反馈设计者

智谱 AI 首席执行官唐杰表示,系统的边界由人类定义:设定目标、构建反馈环境以及审查高风险变更。工程师的角色正在从解决问题演变为设计反馈循环。密集反馈环境还可作为未来模型的训练数据,形成数据飞轮。

递归自我改进循环虽小但真实

唐杰指出,该系统代表了一个最小的递归自我改进闭环:模型优化系统,系统服务于模型。每个完成的任务都成为下一代模型的训练材料。虽然距离完全的递归改进还很远,但基础已经奠定。

Source posts