Anthropic:代理评估与长期运行代理工程

Anthropic发布了关于代理评估和长期运行代理设计的工程指导。关键点包括:- Anthropic识别出一个核心评估矛盾:代理的自主性和灵活性增加了评估的难度。- 评估分类法:任务、评分者、记录、框架;评估目标是代理+工具组合。- 任务:非确定性输出需要重复试验。- 评分者:每个任务有多个评分者;每个评分者包含多个断言。- 记录:记录工具调用、推理、中间状态;真实验证是环境状态。- 框架:端到端评估框架运行试验。- 代理评估进展:手动测试 → CI/CD自动化 → 生产监控 + A/B测试。- 代理类型需要量身定制的评估者:编程、对话、研究、GUI/计算代理。- 非确定性指标:pass@k(任何成功)与pass^k(所有尝试成功);选择很重要。- 从20-50个真实失败任务开始构建评估套件的八步路线图。- 长期运行代理:Anthropic拒绝单一上下文压缩;建议外部化状态。- 双代理中继:初始化代理编写结构化的feature_list.json;编码代理遵循严格的启动顺序(pwd,读取日志,运行init.sh,运行回归测试)。- 工程实践:强制增量开发,Puppeteer视觉反馈循环,Git提交作为高信号通信。- 实用工具:提倡使用Bash进行中间文件状态,以实现可重复性、验证性、可组合性,并具有分层权限控制和解析器保护。
Key insights
评估必须将代理+工具视为测试单元
Anthropic将自动评估框架定义为评估代理及其工具的组合系统,而不仅仅是模型本身。评估分类法包括任务(具体测试案例和成功标准)、评分者(一个或多个评分者及其多个断言)、记录(工具调用和中间状态的完整记录)和框架(端到端运行器)。Anthropic强调,记录和实际环境状态,而不是代理的声明,才是验证标准,并建议在可能的情况下稳定环境并优先选择确定性评分者。
非确定性指标必须与可靠性目标相匹配
Anthropic引入并区分了用于测量非确定性代理行为的pass@k和pass^k。pass@k测量k次尝试中至少有一次成功的概率;pass^k测量所有k次尝试成功的概率。Anthropic指出,这两个指标在k=1时收敛,但在更高的k时发散,并建议选择与用例相一致的指标:探索性生成与生产可靠性。
从小开始,将手动检查转换为自动评估
Anthropic推荐一个八步路线图:早期开始,使用20-50个真实失败案例,将现有手动检查转换为正式测试,撰写明确的任务和参考,以便两位专家可以独立判断,平衡正面和负面测试案例,确保环境稳定,仔细设计评分(优先选择确定性),检查记录,并监控饱和度,以便100%通过不再表示改进。
长期运行代理必须外部化状态;上下文压缩不足
Anthropic拒绝仅依赖扩展上下文窗口来处理多小时/天的代理。他们的方法是将认知状态外部化为结构化的工件和工具——反映软件工程实践,如Git和任务跟踪器——使得连续的代理实例读取和保持结构化状态,而不是依赖隐式模型记忆。
中继架构:初始化代理和编码代理强制结构化交接
Anthropic描述了一种双代理中继:初始化代理创建一个封闭、一致的环境并编写feature_list.json(结构化,包含类别/描述/步骤/通过,初始设置为passes:false),而编码代理遵循严格的启动顺序——pwd,读取进度和git日志,读取feature_list.json,运行init.sh,验证基线——每次增量仅翻转一个特征为passes:true。这强制执行增量开发,并降低了自由文本交接带来的幻觉风险。
Bash和文件系统工件提高可重复性和可审计性
Anthropic的工程师和社区贡献者建议为代理提供Bash和文件I/O以保持中间结果:工具 → 写文件 → grep/过滤 → 模型处理。这产生了可重复、可验证和可组合的工作流程。Anthropic将此能力与权限命令解析和分层控制相结合,以减轻命令注入和危险操作的风险。