XNews

智谱AI GLM-5.3-Flash推理优化

智谱AI GLM-5.3-Flash推理优化

智谱AI宣布,其GLM-5.3-Flash模型在由GLM-5.3驱动的AI智能体优化下,吞吐量提升了3.2倍,并在不到两周内运行在超过10万个国产加速器上。该智能体使用密集反馈框架诊断并修复了三个工程问题,包括精度漂移和并发瓶颈。

Key insights

自我优化智能体框架

智谱AI透露,GLM-5.3-Flash的优化由GLM-5.3驱动的AI智能体完成,而非人类工程师。该智能体采用了包含正确性、系统行为和性能三种信号类型的“密集反馈”系统,使其能够识别并修复KDA内核中的TF32舍入误差累积和KV传输中的GIL争用等问题。这种方法代表了从工程师解决问题到设计反馈环境的转变。

工程权衡与约束

优化在严格约束下进行:国产加速器内存和带宽有限,软件栈不成熟,需支持100万token上下文和多模态请求。所有改进都涉及权衡:ReplaySSM(以计算换内存)、节点内张量并行(以通信换内存)、混合INT8/FP8/BF16缓存(以精度换容量)以及编码-预填充-解码分离(以灵活性换调度)。最终每token成本与主流NVIDIA GPU相当。

三个真实工程案例的解决

智能体发现并修复了三个实际问题:KDA上下文并行路径中因TF32舍入误差累积导致的精度漂移;因GIL未释放导致KV传输和DeepEP调度未重叠;以及因块划分导致解码内核重复计算归一化四次。每个案例代表了不同的能力:数值正确性归因、跨语言调试和跨代码库模式迁移。

Source posts