HarnessDevベンチマーク:LLMはエージェントハーネスを作成するが、進化の汎化は不十分

ByteDance Seed社などが公開したHarnessDevは、LLMが自身のエージェントハーネス(実行ループ、ツール、コンテキスト管理)を構築できるかをテストするベンチマークである。作成実験では、6つのモデルが弱いシードからハーネスを構築したが、ドメイン間のギャップは大きかった(コード:69.3 vs 人間80.0、検索研究:52.6 vs 92.2)。共適応は深刻で、Opus製ハーネスはGeminiで実行すると、ハードコードされたステップ制限により69.3から33.0に低下した。10ラウンドの進化では、フィードバックタスクで+3~+14の改善が見られたが、未評価タスクでは+1.4~+4.4に縮小した。固定のGemini実行環境ではOpusのみが正の値を維持し、GPT-5.5は-10に低下した。診断は最小限で、軌跡ビューアは2回しか使用されなかった。フィードバックスコアリングは最終バージョン選択において信頼性が低く、自己選択された9つの最終バージョンのうち、未評価データで最適だったのは2つだけだった。