浏览器自动化新工具:BrowserSkill与Browser Use的惨痛教训

Browser Use联合创始人Greg PR展示,随着模型能力提升,浏览器自动化框架应精简为原始CDP,让模型直接编写代码。此外,腾讯开源了BrowserSkill,这是一个命令行工具加浏览器扩展,通过安全的四层架构,使AI代理能够使用用户真实浏览器并保持登录状态,且不中断用户操作。
Key insights
Browser Use的演进:从预定义操作到原始CDP
Browser Use在过去两年中不断演进:最初手动定义状态和动作空间,随后引入JavaScript执行(用单一工具取代12个浏览器工具),接着移除预定义状态提取,让模型直接访问CDP。关键洞察在于:当模型编码能力跨越某个阈值后,人类设计的中间表示反而成为负担。最终原则是:暴露最原始的简单接口(CDP),让模型自行选择观察方式和动作。
腾讯的BrowserSkill:使用用户真实浏览器并保留登录状态
BrowserSkill允许任何能够运行Shell命令的AI代理使用用户的实际浏览器,并拥有完整的登录状态,且不中断用户操作。它通过四层架构运行:代理→bsk CLI→bsk守护进程→浏览器扩展→代理窗口。代理从不直接接触浏览器。它支持远程模式(代理在服务器上,浏览器在本地机器上),并通过TLS认证的WSS进行连接。
BrowserSkill的安全模型:沙箱与凭据保护
所有写操作均被沙箱限制在代理窗口内,除非经用户确认明确借用。自动化开关(借用确认、帮助请求)存储在浏览器中,无法被CLI覆盖。文件传输分离权限:CLI处理文件路径,守护进程管理存储,扩展从不接触路径。凭据从不被提取;cookies保留在浏览器配置文件中。远程凭据仅存储哈希值。维护30天的审计日志。
BrowserSkill中的代理工程规范
SKILL.md包含防御性规则:导航会使引用失效,因此交互前需重新观察;如果借用被拒绝或帮助被取消,则停止操作;绝不绕过安全机制;截图证据和页面断言需分别验证;Canvas交互使用一次性capture_id,有效期为2分钟。安装方式以代理为先:用户说出“安装browser-skill”,代理即完成设置、技能注入和验证。
评估框架与工程成熟度
BrowserSkill包含一个全面的评估框架,具备本地确定性页面、代理中立提示、带种子的DOM变体以及诚实验证(未验证结果不会默默计入)。五个测试套件覆盖了28种浏览器操作。项目迭代稳定(约3个月内达到0.3.0版本),支持跨平台发布和CI自动化。代码库:约350万行TypeScript,约170万行Rust,支持英文、中文、韩文的国际化。