XNews

智谱GLM-5.3-Flash经其自身AI智能体优化

智谱GLM-5.3-Flash经其自身AI智能体优化

智谱AI宣布,其GLM-5.3-Flash模型在超过10万块国产AI加速器上运行,由GLM-5.3自身驱动的AI智能体进行了优化。该智能体在两周内实现了3.2倍的端到端吞吐量提升,通过密集反馈系统识别并修复了三个关键工程问题。公司表示,这标志着向递归自我改进迈出了一步。

Key insights

AI智能体优化自身推理基础设施

智谱AI透露,GLM-5.3-Flash的生产推理现已全面运行在超过10万块国产AI加速器上。优化工作由GLM-5.3驱动的AI智能体完成,而非人类工程师。该智能体在两周内将吞吐量从首次运行到生产环境提升了3.2倍。CEO唐杰指出,该模型正在帮助优化运行其自身的系统。

国产加速器上的挑战性部署条件

部署环境受限:国产加速器上内存和互连带宽有限,软件栈不成熟,缺少内核和文档。该模型还需支持100万token上下文和多模态请求。每项优化都涉及权衡:用计算换内存(ReplaySSM),用通信换内存(张量并行),用精度换容量(混合INT8/FP8/BF16缓存),以及用架构分离换调度灵活性(编码-预填充-解码分离)。

密集反馈系统使智能体能够诊断问题

关键洞察在于,智能体的瓶颈并非代码编写,而是理解性能为何下降。20%的吞吐量下降仅提供了稀疏奖励,却未给出根本原因。智谱构建了包含三类信号的密集反馈系统:正确性(计算是否正确?)、系统行为(时间花在哪里?)和性能(哪种方案在何种条件下胜出?)。每个信号都设计为局部、廉价且可客观验证,有效为智能体提供了调试环境。

智能体发现并修复的三个真实工程问题

智能体识别并解决了三个问题:(1)KDA上下文并行路径中的精度漂移,由于TF32舍入误差在链式状态矩阵合并中累积;(2)KV传输与DeepEP调度未重叠,因为节点内路径未释放GIL,导致开销从超过30%降至低于1%;(3)解码内核由于块划分重复计算同一归一化四次,通过重构计算加速1.71倍。这些修复已合并至开源项目。

工程师角色从问题解决者转向反馈设计者

智谱强调,人类仍负责定义目标、构建反馈环境并审查高风险变更。然而,工程师的角色正从解决问题演变为设计反馈系统。密集反馈环境具有双重目的:既是智能体的工作环境,也是未来模型的训练数据,从而形成数据飞轮。CEO唐杰表示:‘我们离递归自我改进还很远,但最小的循环已经存在。模型优化系统,系统服务于模型。’

Source posts