XNews

CursorBench 4.0:AIコーディングエージェント向けプライベートベンチマーク

CursorBench 4.0:AIコーディングエージェント向けプライベートベンチマーク

Cursorは、過学習が進んだSWE-benchなどの公開ベンチマークに代わる、独自のプライベートベンチマーク「CursorBench 4.0」を更新した。本手法では「Cursor Blame」を採用し、コミットされたコードをエージェントのリクエストに遡って対応付け、クエリと回答のペアを生成する。特徴としては、内部コードベースや頻繁なタスクローテーションによるデータ漏洩防止策、モノレポや本番ログデバッグ、長時間実験などの重いタスク、さらに実際の開発者の入力を模した意図的に曖昧な指示が含まれる。評価は正確性、コード品質、効率性、対話挙動を対象とする。本番環境でのオンライン評価により、オフラインでは検出できない回帰を捕捉する。アブレーション研究では、大規模コードベースのQAにおいてセマンティック検索ツールの有効性が示された。また、本記事ではClaude Fable 5.1とOpus 5が最も強力だがコストが高く、GPT-6 Astraは未評価、Grok 4.6は印象的ではなかったと指摘している。

Key insights

CursorBench 4.0はベンチマーク攻略に耐性を持つよう設計

タスクは内部コードベースおよび管理されたソースから調達され、数ヶ月ごとに更新される。ベンチマークにはモノレポ、マルチワークスペース、本番ログデバッグ、長時間の実験が含まれる。タスク記述は意図的に短く曖昧にされ、実際の開発者の指示を模している。

オンライン・オフラインの二重評価で回帰を防止

CursorBenchはオフラインで正確性、コード品質、効率性、対話を測定する。実際のトラフィックに対するオンライン管理実験では、オフラインスコアが高くてもユーザー体験が悪化する回帰を捉える。

モデル性能比較:Claude Fable 5.1とOpus 5がリード

Claude Fable 5.1とOpus 5は最も強力なモデルだが、高コストである。GPT-6 Astraは評価されていない。Grok 4.6は印象的ではなく、Muse Spark 1.3よりわずかに優れるがコストが高い。Grok 4.7は改善が約束されている。

Source posts