智谱GLM-5.3在10万+国产加速器上实现自优化推理
智谱披露,GLM-5.3-Flash在超过10万块国产AI加速器上运行。从首次运行到投产仅用不到两周时间,一个由GLM-5.3驱动的AI智能体执行了所有优化,实现了3.2倍的吞吐量提升。关键优化包括ReplaySSM、张量并行、混合INT8/FP8/BF16缓存,以及编码-预填充-解码分离。该智能体发现并修复了三个真实的工程缺陷。
智谱披露,GLM-5.3-Flash在超过10万块国产AI加速器上运行。从首次运行到投产仅用不到两周时间,一个由GLM-5.3驱动的AI智能体执行了所有优化,实现了3.2倍的吞吐量提升。关键优化包括ReplaySSM、张量并行、混合INT8/FP8/BF16缓存,以及编码-预填充-解码分离。该智能体发现并修复了三个真实的工程缺陷。