ブラウザエージェントが「ブラウザ利用」から得た苦い教訓

Browser Useの共同創業者Greg氏は、モデルが向上するにつれて、ハーネスを生のCDPインターフェースにまで簡素化すべきだと示す。2年間で、事前定義されたアクションから、モデルがコードを記述しブラウザのネイティブプロトコルに直接アクセスできるように移行し、効率性と信頼性が向上した。
Key insights
ハーネス設計の進化
当初、GPT-4oがコンピュータ操作向けに訓練されていなかったため、ハーネスは状態とアクションの空間(クリック、入力、スクロール)を定義していた。その後、JavaScript実行を導入し、12のブラウザツールを1つのbrowser_execツールに置き換え、すべてのタスクを達成しながらトークン消費量を60~66%削減した。最終的に、事前定義された状態観察を廃止し、モデルがCDPに直接接続できるようにした。
PlaywrightではなくCDPを選ぶ理由
CDPはChromeのネイティブプロトコルであり、Playwrightの抽象化より下層に位置する。Playwrightのロケーターは閉じたシャドウルートに侵入できないが、CDPは可能である。また、チームは独自のエージェントループの構築をやめ、代わりにPi、Codex、OpenCodeなどの実績のあるコーディングエージェントを再利用した。
エージェントハーネスの3つの原則
1) 実績のあるエージェントハーネスを再利用する。2) モデルがうまく使える最もシンプルな低レベルインターフェースを公開する。3) モデル自身に観察とアクションを選択させる。この原則はブラウザに限らず、コンピュータ、テキスト、音楽など他のエージェント領域にも適用される。