XNews

Kimi K3 开放前沿智能发布

Kimi K3 开放前沿智能发布

Moonshot AI 推出了 Kimi K3,这是一款开放前沿智能模型,拥有 2.8 万亿参数、混合专家架构(含 896 个专家,其中 16 个激活)以及 100 万 token 的上下文长度。该模型原生支持多模态。其中两项架构创新尤为突出:Kimi Delta Attention 在长上下文中可实现高达 6.3 倍的解码加速,而 Attention Residuals 则以不到 2% 的额外成本提升了约 25% 的训练效率。该模型专为长周期智能体编码和自演化工作流设计,已在 Kimi 平台、Kimi Work、Kimi Code 及 Kimi API 上可用。开放权重承诺于 2026 年 7 月 27 日发布。一份技术报告显示,训练使用了 5122 万个沙箱,且架构变化使整体计算效率提升了 2.5 倍。

Key insights

Kimi K3 的规模与效率创新使其成为具有竞争力的开放权重模型

凭借 2.8 万亿参数、100 万上下文以及新颖的注意力机制,Kimi K3 在速度和训练效率上取得了显著提升。Delta Attention 在百万 token 上下文中实现了高达 6.3 倍的解码加速,而 Attention Residuals 以极低成本将训练效率提升了约 25%。这些创新使得大规模、长上下文模型更加实用。

开放权重发布可能影响开源 AI 生态系统

承诺于 2026 年 7 月 27 日发布开放权重,将为社区提供一个针对智能体编码优化的强大且免费可用的模型。这可能加速开源开发,并在长上下文、基于智能体的任务中挑战专有模型。

模型专为智能体编码和自演化工作流构建

Kimi K3 明确针对长周期智能体编码和自演化工作流设计,表明其聚焦于自主软件开发及持续改进场景。其 100 万上下文窗口支持在极长交互中保持连贯性。

训练基础设施与计算效率细节披露

技术报告指出,训练过程中使用了 5122 万个沙箱,且架构变化使计算效率提升了 2.5 倍。这为所需资源规模及效率优化的有效性提供了透明度。

Source posts