XNews

GLM-5.3优化自身推理系统,修复GIL瓶颈

智谱使用GLM-5.3优化其推理系统。AI发现KV缓存传输未与计算重叠,原因是DeepEP节点内路径存在GIL问题,全局解释器锁未释放,导致传输线程无法执行。修复后,开销从30%以上降至1%以下。

Source posts