浏览器代理从Browser Use中获得的‘苦涩教训’

Browser Use联合创始人Greg指出,随着模型能力的提升,控制框架应精简至原始的CDP接口。在过去两年中,他们从预定义操作转向让模型编写代码并直接访问浏览器的原生协议,从而提高了效率和可靠性。
Key insights
控制框架设计的演变
最初,控制框架定义了状态和动作空间(点击、输入、滚动),因为GPT-4o并未针对计算机使用进行训练。随后,他们引入了JavaScript执行,用单一的browser_exec工具取代了12个浏览器工具,在完成所有任务的同时将令牌消耗减少了60-66%。最后,他们移除了预定义的状态观察,让模型直接连接到CDP。
为何选择CDP而非Playwright
CDP是Chrome的原生协议,位于Playwright的抽象层之下。Playwright的定位器无法穿透封闭的Shadow DOM,而CDP可以。团队还停止了构建自己的代理循环,转而复用经过验证的编码代理,如Pi、Codex和OpenCode。
代理控制框架的三条原则
1) 复用经过验证的代理控制框架。2) 暴露模型能够良好使用的最简单的底层接口。3) 让模型自行选择观察和操作。这一原则不仅适用于浏览器,还适用于计算机、文本、音乐等其他代理领域。