Kimi K2.5技术深度解析与架构创新

在GTC 2026的一场演讲中,月之暗面(Moonshot AI)创始人杨植麟详细介绍了Kimi K2.5如何用全新组件替代了Adam优化器、全注意力机制和残差连接。这些进展后来被整合到2026年7月发布的开源模型Kimi K3中。
Key insights
重新设计Adam、注意力机制和残差连接,无需额外数据即可获得收益
月之暗面的方法挑战了“进步主要依赖更多数据或算力”的假设。通过重新设计Transformer的基础组件,他们实现了复合效益:优化器效率(相当于数据量翻倍)、用于长上下文的线性注意力机制,以及用于更深层信息流的注意力残差。这些技术均已开源,可独立采用。
Kimi Linear的多衰减机制可能为长上下文效率树立新标准
与传统的单一全局衰减线性注意力不同,KDA采用逐通道衰减率,使模型既能保留长期信息,又能快速遗忘无关细节。其与全注意力3:1的混合模式表明,高效架构能在所有测试上下文长度上超越全注意力,使百万token上下文变得实用。
Agent Swarm训练实现并行协作,加速复杂任务完成
通过激励子任务并行化并验证完成情况,月之暗面训练模型像CEO一样协调多个智能体。在实践中,该方法减少了研究、代码生成和数据分析的整体任务时间。K3中将智能体数量扩展至300个,进一步将这种能力延伸至大规模自主工作流。
早期融合多模态训练展示跨模态知识迁移
从一开始就混合视觉和文本数据产生了令人惊讶的结果:提升视觉性能也增强了文本推理能力,而强大的文本基础则消除了对专用视觉SFT数据的需求。这支持了“共享潜在空间使一种模态学到的能力惠及另一种模态”的假设,可能减少对大型配对数据集的需求。
Attention Residue打破经典残差连接的顺序信息流
通过让每一层关注块内所有先前层并选择保留哪些信息,该架构实现了24%的token效率提升。这重新诠释了Ilya Sutskever关于残差连接是“旋转LSTM”的类比,用基于学习的注意力门控机制取代了固定的跳跃连接。其采用可能影响未来的深度网络设计。