XNews

Kimi K3发布及性能基准测试

Kimi K3发布及性能基准测试

Moonshot AI发布了Kimi K3,这是一个拥有2.8万亿参数的原生多模态模型,具备100万token的上下文窗口。它引入了Kimi Delta注意力机制,在长上下文场景下解码速度最高提升6.3倍,并采用注意力残差技术,在额外成本低于2%的情况下将训练效率提升约25%。在DeepSWE软件工程基准测试中,Kimi K3 Max在pass@1指标上得分为68.5%,而GPT-5.6 Sol Max得分为72.7%,但Kimi在pass@2(82.0%对比81.0%)和pass@4(89.4%对比85.8%)上超越后者。每次运行成本方面,Kimi为4.65美元,Sol为8.37美元;每100美元成本下,Kimi可解决约14.7个任务,而Sol仅为5.3个。中位延迟方面,Kimi为66分钟,Sol为17分钟,Kimi的步骤数更多。语言能力差异明显:Kimi在Rust上更强,Sol在Python/TypeScript/JavaScript上更优,两者在Go上持平。领域优势有所分化,Sol在8个类别中赢得5个。任务级相关性较低(0.46),两个模型的联合覆盖率达到113个任务中的108个(95.6%)。推荐的级联策略——优先使用Kimi,失败后改用Sol——可达到85.6%的解决率,每个任务成本为7.30美元。开放权重计划于2026年7月27日发布。

Key insights

Kimi K3通过多次尝试在软件工程上与GPT-5.6 Sol竞争

虽然在pass@1指标上落后,但Kimi K3在pass@2和pass@4上超越Sol,显示出强大的迭代改进能力。这两个模型成功模式之间的低相关性使其高度互补,联合覆盖率达基准任务的95.6%。

成本优势被较高延迟所抵消

Kimi K3每次运行成本约为Sol的一半,但中位延迟几乎是后者的4倍(66分钟对比17分钟)。更高的步骤数表明推理行为不同,推理优化可能缩小延迟差距。

架构创新针对长上下文效率

Delta注意力机制在百万token上下文中提供最高6.3倍的解码加速,而注意力残差技术以极低成本实现25%的训练效率提升。这些创新直接解决了长跨度代理编码的计算瓶颈问题。

Source posts