新たなブラウザ自動化ツール:BrowserSkillとBrowser Useの苦い教訓

Browser Useの共同創設者であるGreg PR氏は、モデルが向上するにつれて、ブラウザ自動化のハーネスは生のCDPまで削ぎ落とすべきであり、モデルが直接コードを書けるようにすべきだと実証した。別件として、テンセントはBrowserSkillをオープンソース化した。これはCLIとブラウザ拡張機能を組み合わせたもので、AIエージェントがユーザーの実際のブラウザをログイン状態のまま、中断なしに利用できるようにし、安全な4層アーキテクチャを採用している。
Key insights
Browser Useの進化:事前定義アクションから生のCDPへ
Browser Useは2年にわたって進化してきた。当初は状態空間と行動空間を手動で定義していたが、その後JavaScript実行を導入し(12のブラウザツールを1つに置き換えた)、さらにモデルがCDPに直接アクセスできるようにすることで、事前定義された状態抽出を排除した。重要な洞察は、モデルのコーディング能力が閾値を超えると、人間が設計した中間表現が負債になるという点だ。最終的な原則は、最もシンプルな生のインターフェース(CDP)を公開し、モデルに観測と行動を選択させることである。
テンセントのBrowserSkill:ユーザーの実ブラウザをログイン状態で利用
BrowserSkillは、シェルコマンドを実行できるあらゆるAIエージェントに対して、ユーザーの実際のブラウザを完全なログイン状態で使用することを可能にし、ユーザーを中断させない。これは4層アーキテクチャで動作する:エージェント→bsk CLI→bskデーモン→ブラウザ拡張機能→エージェントウィンドウ。エージェントはブラウザに直接触れることはない。TLS認証付きWSSを使用したリモートモード(エージェントはサーバー上、ブラウザはローカルマシン上)もサポートしている。
BrowserSkillのセキュリティモデル:サンドボックスと資格情報保護
すべての書き込み操作は、ユーザーの確認を得て明示的に借用されない限り、エージェントウィンドウにサンドボックス化される。自動化スイッチ(借用確認、ヘルプ要求)はブラウザに保存され、CLIによって上書きされない。ファイル転送は権限を分割する:CLIはファイルパスを処理し、デーモンはストレージを管理し、拡張機能はパスを一切見ることはない。資格情報は決して抽出されず、クッキーはブラウザプロファイルに残る。リモート資格情報はハッシュのみを保存する。30日間の監査ログが維持される。
BrowserSkillにおけるエージェントエンジニアリングの規律
SKILL.mdには防御的なルールが含まれている:ナビゲーションは参照を無効化するため、操作前に再観察する。借用が拒否されたりヘルプがキャンセルされた場合は停止する。セキュリティを迂回しない。スクリーンショットの証拠とページアサーションは別々に検証される。Canvasインタラクションは2分間の有効期限を持つ使い捨てcapture_idを使用する。インストールはエージェントファーストである:ユーザーが「browser-skillをインストール」と言うと、エージェントがセットアップ、スキル注入、検証を完了する。
評価フレームワークとエンジニアリングの成熟度
BrowserSkillには、ローカルの決定論的なページ、エージェントに依存しないプロンプト、シードされたDOMバリアント、正直な検証(未検証の結果は黙って数えられない)を含む徹底した評価フレームワークが含まれている。5つのテストスイートで28のブラウザ操作をカバーしている。このプロジェクトは安定した反復(約3ヶ月で0.3.0)、クロスプラットフォームのリリース、CI自動化を実現している。コードベースはTypeScript約350万行、Rust約170万行で、英語、中国語、韓国語のi18nを備えている。