月之暗面Kimi K2.5替换三款三十年历史的Transformer组件

月之暗面杨植麟发布Kimi K2.5,替换了三款三十年历史的Transformer组件:MuonClip优化器(令牌效率翻倍,通过QK-Clip实现稳定)、Kimi线性注意力(多速率衰减KDA,与全注意力按3:1混合,在所有长度上超越全注意力)以及注意力残差(用对先前层的注意力替代残差连接,令牌效率提升24%)。K2.5还具备Agent Swarm(最多300个并行智能体)、早期融合多模态训练(将视觉学习迁移至文本推理)以及零视觉微调。所有组件均已开源,旨在将开源模型推向前沿水平。