XNews

GLM递归自我优化基础设施文章

智谱AI宣布GLM-5.3-Flash在超过10万块国产加速器上运行,通过自我优化吞吐量提升3.2倍。一个智能体发现并修复了三个实际工程问题(精度漂移、GIL瓶颈、冗余计算),单个内核加速1.71倍。公司称其为迈向递归自我优化的最小闭环。

Key insights

GLM-5.3-Flash大规模部署国产加速器,吞吐量提升3.2倍

GLM-5.3-Flash的所有生产推理现在运行在超过10万块国产AI加速器上。从首次运行到投产仅用不到两周,端到端吞吐量提升了3.2倍。这些优化由GLM-5.3自身驱动的AI智能体完成。

国产加速器部署条件严峻

国产加速器内存和带宽有限,软件生态不成熟且文档缺失。优化措施包括内存-计算权衡(ReplaySSM)、通信-计算权衡(张量并行)、精度权衡(INT8/FP8/BF16混合缓存)以及架构分离(编码-前缀-解码拆分)。最终token成本与主流NVIDIA GPU持平。

密集反馈机制使智能体像资深工程师一样调试

该智能体通过分层验证接口收集密集反馈:正确性、系统行为(耗时)和性能(何种条件下哪种策略更优)。这使得智能体能够定位那些仅凭稀疏奖励(如吞吐量下降)无法发现的问题。该方法模拟了经验丰富工程师的“过程奖励”直觉。

智能体发现并修复三个实际工程问题

智能体发现并修复了三个问题:(1)KDA内核中TF32舍入误差在长上下文中累积导致的精度漂移;(2)由于DeepEP的节点内路径未释放GIL,导致KV缓存传输与计算无法重叠的并发瓶颈;(3)解码内核中重复归一化,同一归一化计算了四次。修复(3)实现了1.71倍的加速。

人类工程师仍负责目标设定和高风险变更审查

智谱CEO唐杰强调,人类工程师仍负责目标设定、反馈环境构建以及高风险变更的审查。然而,工程师的角色正从问题解决者转变为反馈设计者。智能体完成的任务将成为下一代模型的训练素材。

实现递归自我优化的最小闭环

唐杰表示,尽管距离完全递归自我优化还很遥远,但最小的闭环已经存在:模型优化系统,系统运行模型。基于真实基础设施任务构建的分层可验证反馈环境,正是训练下一代模型所需的。

Source posts