智谱GLM-5.3智能体优化自身推理系统以适配国产加速器
智谱AI透露,一个基于GLM-5.3驱动的智能体对运行在超过10万块国产加速器上的GLM-5.3-Flash推理系统进行了优化。在不到两周的时间内,吞吐量提升了3.2倍。该智能体识别并修复了三个实际问题:KDA中的TF32精度漂移、KV传输中的GIL阻塞以及解码内核中的冗余归一化。
智谱AI透露,一个基于GLM-5.3驱动的智能体对运行在超过10万块国产加速器上的GLM-5.3-Flash推理系统进行了优化。在不到两周的时间内,吞吐量提升了3.2倍。该智能体识别并修复了三个实际问题:KDA中的TF32精度漂移、KV传输中的GIL阻塞以及解码内核中的冗余归一化。