GLM-5.3-Flash推理优化由AI智能体完成

智谱AI宣布,GLM-5.3-Flash推理现已在超过10万块国产加速器上运行,通过GLM-5.3驱动的AI智能体实施ReplaySSM、张量并行和混合精度缓存等优化,吞吐量提升了3.2倍。此外,腾讯开源了WeKnora,这是一个集成了RAG、ReAct智能体和自动维基生成的企业知识平台。
Key insights
GLM-5.3-Flash推理在国产加速器上由AI智能体优化
智谱AI的GLM-5.3-Flash模型现已在超过10万块国产AI加速器上运行生产推理。整个优化流程实现了3.2倍的端到端吞吐量提升,由GLM-5.3自身驱动的AI智能体执行。该智能体应用了ReplaySSM(以计算换内存)、节点内张量并行(以通信换内存)、混合INT8/FP8/BF16缓存(以精度换容量)以及编码-预填充-解码分离等技术。在国产芯片上,每token成本与领先的英伟达GPU相当。
密集反馈机制使AI智能体诊断出三个关键问题
该AI智能体依赖一个分层验证接口,提供关于正确性、系统行为和性能的密集反馈。这使其能够发现并修复三个实际工程问题:(1)KDA内核中TF32舍入误差累积导致的精度漂移;(2)GIL争用阻止了KV传输与DeepEP调度的重叠;(3)解码内核中的冗余归一化计算,加速比达1.71倍。这些修复已贡献给开源项目。
工程师角色从问题解决者转变为反馈设计师
智谱CEO唐杰表示,最重要的经验不是优化本身,而是工程师角色的转变。工程师现在定义目标、构建反馈环境并审查高风险变更,而智能体执行优化循环。这种分层、可验证的反馈环境同时也作为未来模型的训练数据,形成了一个最小的递归自我改进循环。
WeKnora:具备RAG、ReAct和维基模式的企业知识平台
腾讯微信团队开源了WeKnora,这是一个企业知识平台,将散落的文档转化为三种资产:用于问答的RAG知识库、用于多步推理的ReAct智能体,以及自动提炼的维基知识库(支持可视化和版本控制)。它支持多种检索策略(BM25、密集检索、GraphRAG),并内置了检索质量评估工具。
WeKnora企业功能:多租户、安全性和知识工程
WeKnora支持多租户,具有四级RBAC(所有者、管理员、贡献者、查看者),采用AES-256-GCM加密凭证,对gRPC/Redis使用TLS,强化SSRF防护,并提供沙盒执行环境。知识库像代码仓库一样对待,支持带版本控制的变更、自动索引和回滚。该平台是微信对话开放平台的核心技术,已通过生产验证。