XNews

Kimi Moonshot:技术进展与Kimi K3发布

Kimi Moonshot:技术进展与Kimi K3发布

Kimi Moonshot宣布了Kimi K3,并详细介绍了K2.5到K3的技术进展。- 宣布Kimi K3:2800亿参数,100万原生上下文,多模态。- Kimi Delta Attention在百万标记上下文中实现高达6.3倍的解码速度。- Attention Residue在<2%的成本下提高了约24-25%的标记训练效率。- Kimi K2.5用MuonClip替代Adam以提高标记利用率。- MuonClip(基于Muon)在相同数据上实现了近乎翻倍的数据效率。- QK-Clip防止注意力logit峰值(观察到>1000),使Muon在万亿规模下可用。- Kimi Linear(KDA)是一种线性注意力机制,以3:1的比例与全注意力混合,以扩展到百万以上的标记。- KDA使用多个衰减通道以不同速度保留/遗忘信息。- Agent Swarm编排支持K2.5中的多达100个代理,K2.6中为300个,1500步任务。- 早期融合的多模态训练(混合视觉+文本)改善了文本推理,并实现了零视觉SFT。- Attention Residue(块版本)允许层通过注意力关注早期层的输出,替代块中的残差。- Moonshot开源了MuonClip、Kimi Linear和Attention Residue;K3权重计划于2026年7月27日公开。

Key insights

Kimi K3发布及其能力

Kimi Moonshot宣布Kimi K3作为一个开放的前沿智能模型,具有2800亿参数、100万标记的原生上下文窗口和原生多模态支持。官方发布强调,Kimi Delta Attention在百万标记上下文中加速解码高达6.3倍,Attention Residue在增加不到2%的计算成本的同时,提高了约24-25%的标记训练效率。K3旨在支持长期的自主编码和自我演变的工作流程,权重计划于2026年7月27日公开。

MuonClip和QK-Clip提高数据效率和稳定性

Moonshot用MuonClip(源自Muon)替代Adam以提高标记利用率:实验表明,在相同数据上训练时,获得的增益与翻倍高质量标记数量相似。Muon使得在超过15万亿标记上进行训练成为可能,但导致注意力logit不稳定(最大logit峰值超过1000);Moonshot引入QK-Clip以监控和同步扩展Q和K投影,防止损失峰值,并实现稳定的万亿参数训练运行而不发生发散。

Kimi Linear(KDA)用于百万标记上下文

Kimi Linear使用Kimi Delta Attention(KDA),这是一种线性注意力机制,将记忆衰减分解为多个通道,使不同信息以不同速率衰减。该架构以3:1的比例将线性注意力与全注意力混合,目标是长输入和长输出任务。Moonshot报告称,KDA在短上下文和长上下文任务中均优于全注意力,并能高效扩展到百万以上的标记输入,同时节省大量计算资源。

Agent Swarm:并行多代理编排

Moonshot描述了Agent Swarm:分层代理团队,其中一个首席代理(CEO)分解目标并调度多达数百个专业子代理。奖励设计包括实例化、完成和最终结果奖励,在训练过程中动态重新加权。K2.5支持多达100个并行代理(1500步任务);K2.6将并行限制提高到300个代理。演示包括并行研究、大型文献回顾、多章节草拟和并发数据集分析。

早期融合多模态训练提高跨模态转移

Moonshot从后期融合转向早期融合训练:K2.5从一开始就训练约15万亿混合视觉+文本标记,而不是在后期附加视觉SFT。他们观察到仅视觉训练改善了文本推理;强大的文本基础模型允许进行“零视觉SFT”(监督微调),并通过后续的多模态强化学习训练达到接近最先进的视觉性能。早期融合使得跨模态转移得以用于“看与编码”等任务。

Attention Residue替代块残差以提高效率

Moonshot引入了Attention Residue(块注意力残差),使每个块能够关注多个先前块的输出,并选择保留哪些历史信号。他们将层分组为块(例如,16层块),并在块之间使用注意力;实验报告显示,标记效率提高了约24%,在GPQA、MATH和HumanEval上取得了显著的提升。团队将Attention Residue定位为替代传统残差连接,以使深度网络更加选择性。

Source posts