XNews

GLM-5.3优化自身推理系统

GLM-5.3优化自身推理系统

智谱AI宣布,其GLM-5.3模型推动了自身推理系统GLM-5.3-Flash的优化,该系统现已在超过10万个国产AI加速器上运行。该模型作为AI代理,在不到两周内将端到端吞吐量提升了3.2倍。关键优化包括ReplaySSM、张量并行、混合精度缓存和架构分离,所有这些都是在内存有限、带宽受限和软件栈不成熟的条件下实现的。

Key insights

模型驱动优化实现显著提升

智谱AI透露,GLM-5.3作为AI代理,优化了其推理系统GLM-5.3-Flash,该系统现已部署在超过10万个国产加速器上。从首次运行到全面生产仅用了不到两周时间,端到端吞吐量提升了3.2倍。这是在加速器内存有限、互连带宽受限和软件栈不成熟等挑战性条件下实现的,通过ReplaySSM和混合精度缓存等优化,以计算、通信和精度换取容量和灵活性。

密集反馈机制是代理解决问题的关键

智谱AI CEO唐杰表示,主要挑战不在于编码,而在于诊断性能问题,这被描述为一个稀疏奖励和信用分配问题。为此,他们构建了一个分层验证接口,提供密集反馈信号:正确性、系统行为和性能。这些信号是局部的、廉价的、客观可验证的,使代理能够识别并修复三个实际工程问题:KDA内核中的精度漂移、DeepEP中的GIL瓶颈以及解码内核中的冗余计算,其中一个案例实现了1.71倍的加速。

工程师角色转向设计反馈环境

唐杰强调,虽然代理执行了优化,但人类仍需定义目标、构建反馈环境并审查高风险变更。这将工程师的角色从解决问题转变为设计反馈系统。他还指出一个更深层次的含义:分层、可验证的反馈环境既充当代理的工作环境,又充当未来模型的训练数据,形成数据飞轮。唐杰总结道:“我们距离递归自我改进还很远,但最小的闭环已经存在:模型优化系统,系统运行模型。”

Source posts