BrowserSkill: AIエージェントが実際のブラウザを使用できるオープンソースツール

Tencentは、CLIとブラウザ拡張機能を組み合わせたBrowserSkillをオープンソース化しました。これにより、シェルコマンドを実行可能な任意のAIエージェントが、ユーザーの実際のログイン済みブラウザを中断なく使用できるようになります。自動化は別のAgent Windowで実行され、ログイン状態を再利用し、CAPTCHAに対する人間の介入をサポートします。アーキテクチャは、デーモン、WebSocket接続、厳格なセキュリティモデルで構成されています。
Key insights
アーキテクチャ:厳格な分離を持つ4層チェーン
BrowserSkillのアーキテクチャは、Agent → bsk CLI (シェル) → bsk daemon (ローカルIPC) → ブラウザ拡張機能 (WebSocket) → Agent Windowで構成されています。エージェントはブラウザに直接触れることはありません。デーモンはセッションルーティングを管理し、セッションごとにRPCを直列化します。拡張機能はCDPを使用してブラウザを駆動し、Agent Window、要素参照、タブの借用を管理します。セッションがコアとなる抽象概念であり、各セッションには専用のウィンドウと参照ストアがあります。
セキュリティモデル:権限の集約と認証情報の保護
BrowserSkillは複数のセキュリティ層を実装しています。ユーザーの確認なしにタブを借用しない限り、すべての書き込み操作はAgent Windowにサンドボックス化されます。2つの自動化スイッチ(借用確認、ヘルプリクエスト)はブラウザに保存され、CLIで上書きできません。ファイル転送はCLI、デーモン、拡張機能間で権限を分割します。このスキルは、認証情報、Cookie、トークンを決して抽出しないと明示しています。リモートモードでは、ワンタイムペアリングと取り消し可能なデバイス認証情報を使用します。
エージェントエンジニアリング:SKILL.mdの防御ルール
SKILL.mdファイルにはエージェント向けの防御ルールが含まれています。ナビゲーションにより参照が無効になるため、エージェントは操作前に再観察する必要があります。借用拒否は尊重されなければなりません。ヘルプリクエストは迂回できません。スクリーンショットの証拠とページのアサーションは別々に検証されます。キャンバス操作では、2分の有効期限を持つ使い捨てのキャプチャIDを使用します。インストールはエージェントフレンドリーで、単一のコマンドでCLIインストール、スキル注入、診断、検証が実行されます。