XNews

智谱AI借助GLM-5.3驱动的基础设施智能体在两周内优化GLM-5.3-Flash推理

智谱AI借助GLM-5.3驱动的基础设施智能体在两周内优化GLM-5.3-Flash推理

智谱AI宣布,其GLM-5.3-Flash推理已在超过10万张国产加速卡上运行,由GLM-5.3驱动的基础设施智能体在两周内实现了3.2倍的吞吐量提升。优化措施包括ReplaySSM、张量并行、混合缓存和流水线分离,以克服硬件限制。

Key insights

GLM-5.3驱动的基础设施智能体在两周内实现3.2倍吞吐量

由GLM-5.3驱动的基础设施智能体在超过10万张国产AI加速卡上优化了GLM-5.3-Flash推理,从首次运行到全面生产仅用两周时间,端到端吞吐量提升了3.2倍。这表明模型驱动的智能体能够显著加速基础设施优化。

受国产硬件限制的优化权衡

严峻的工程约束包括加速卡内存和带宽有限、100万Token的上下文长度、多模态请求以及不成熟的软件栈。每项优化都是一种权衡:ReplaySSM(以计算换内存)、节点级张量并行(以通信换内存)、混合INT8/FP8/BF16缓存(以精度换容量),以及编码-预填充-解码分离(以分离换调度灵活性)。

密集反馈系统提供分层验证信号

该智能体的成功依赖于一个密集反馈框架,包含三类信号:正确性(计算结果是否正确?)、系统行为(时间耗费在哪里?)和性能(哪种方案在何种条件下胜出?)。每类信号都是局部化、低成本且可客观验证的,将工程师的角色从问题解决者转变为反馈设计者。

智能体发现并修复三个具体工程问题

该智能体发现了三个实际问题:(1)KDA上下文并行路径中TF32舍入误差累积,导致精度随序列长度漂移;(2)GIL阻塞KV传输与DeepEP调度的重叠;(3)由于块划分导致解码内核中重复归一化。每个案例展示了不同的能力:数值正确性归因、跨语言调试以及跨代码库的模式迁移。

密集反馈同时为未来模型提供训练数据

智谱CEO表示,为智能体构建的分层验证环境也为下一代模型生成了训练数据。每完成一项任务都会成为后续模型的训练素材。这形成了一个数据飞轮:反馈环境既是智能体的工作空间,也是未来模型的训练场,尽管递归式自我改进仍任重道远。

国产芯片Token成本与主流NVIDIA GPU持平

优化后,国产加速卡上的单Token成本已与主流NVIDIA GPU持平。尽管存在硬件限制,这一成果表明算法创新能够弥补硬件约束,实现成本平价。

Source posts