XNews

CursorBench 4.0:AI编码智能体私有基准测试

CursorBench 4.0:AI编码智能体私有基准测试

Cursor更新了其私有基准测试CursorBench 4.0,取代了已被过度拟合的SWE-bench等公开基准。该方法采用“Cursor Blame”技术:将提交的代码追溯至智能体请求,从而生成查询-答案对。其特点包括:防泄漏措施(内部代码库、频繁任务轮换)、更重的任务(单仓库、生产日志调试、长周期实验)以及刻意模糊的描述以模拟真实开发者输入。评估涵盖正确性、代码质量、效率及交互行为。生产环境中的在线评估可捕捉离线测试无法发现的回归问题。一项消融研究显示,语义搜索工具在大型代码库问答中具有价值。文章还指出,Claude Fable 5.1和Opus 5最强但成本高昂;GPT-6 Astra未参与评估;Grok 4.6表现平平。

Key insights

CursorBench 4.0 旨在抵御基准测试作弊

任务来源于内部代码库和受控源,每隔几个月更新一次。基准测试包括单一仓库、多工作区、生产日志调试和更长时间的实验。任务描述故意简短且模糊,模拟真实开发者的指令。

线上-线下双重评估防止性能回退

CursorBench 在离线状态下衡量正确性、代码质量、效率和交互。在实际流量上进行的线上对照实验能够捕捉离线分数高但用户体验下降的回退情况。

模型性能对比:Claude Fable 5.1 和 Opus 5 领先

Claude Fable 5.1 和 Opus 5 是目前最强的模型,但价格昂贵。GPT-6 Astra 未参与评估。Grok 4.6 表现平平,略优于 Muse Spark 1.3 但成本更高。Grok 4.7 承诺将有所改进。

Source posts