XNews

生产级AI代理工程:Harness框架与OpenBot

生产级AI代理工程:Harness框架与OpenBot

一份名为《Agent = Model + Harness》的生产级AI代理工程综合手册已发布,综合了Mitchell Hashimoto、OpenAI Codex、Martin Fowler等人的见解。该手册论证,模型周围的工程基础设施(即Harness)是生产就绪的关键决定因素,并举例说明仅通过Harness改进即可将基准分数提升超过40分。报告定义了六层架构:指南(执行前规则)、传感器(执行后验证)、代理循环(有界执行周期)、记忆(通过文件实现状态连续性)、权限(能力预算和人工审批门)和可观测性(结构化日志和成本归因)。核心方法是“棘轮原则”:每次代理出错时,都要实施工程修复以防止其永久发生。此外,还介绍了一个独立的开源项目OpenBot,它为每个AI“同事”提供其独立的计算机、浏览器和登录会话,并设有一个网关,对所有操作进行授权并维护审计跟踪。

Key insights

“Harness”是比底层模型更重要的代理性能杠杆

该手册的核心论点是,模型周围的工程基础设施(即Harness)可以比切换到更先进的模型带来更大的性能提升。证据包括:仅通过Harness的更改,单个Claude Sonnet 4.5模型在GAIA基准测试中的得分就从30.91%跃升至74.55%;LangChain在没有更改模型的情况下,将其Terminal Bench排名从第30位提升至第5位。这解释了为什么估计有95%的企业AI代理在预生产阶段停滞不前:它们拥有强大的模型,但缺乏部署所需的安全、可观测性和治理层。

“棘轮原则”提供了一种逐步强化AI代理的系统方法

该手册将Mitchell Hashimoto的“棘轮原则”编纂为一个六步循环:重现故障、分类根本原因、选择最强的修复层、编写修复代码、验证修复是否阻止复发、并监控回归。修复强度从简单的对话补丁升级到使错误在结构上不可能发生的永久性环境约束。来自Cursor的Lauren Tan的一个实用信号是,任何出现三次的审查评论都应被强化为结构性约束。一个成熟的Harness的标志是新规则创建率下降,从每天五条减少到每周一条。

OpenBot提出了一种面向自主AI代理的隔离优先安全模型

OpenBot项目解决了将AI代理授予用户个人浏览器和账户访问权限的安全问题。相反,它为每个AI“同事”提供其专用的计算机,配备独立的浏览器、登录会话和文件系统。所有工具都经过明确授权,每个操作在执行前都要经过网关检查,并记录完整的审计跟踪。该系统允许人类接管不应自动化的任务。它预装了三个代理(通用助手、公司知识问答、风险分析师),并可以集成使用LangGraph和CrewAI等框架构建的代理,所有内容均通过Docker在本地运行。

Source posts