Evolver框架将智能体任务成功率提升至87.50%,令牌消耗降低24.24%

研究人员推出了Evolver,这是一个经验驱动的框架,它将智能体探索过程中获得的过程性知识存储为结构化的Gene资产,并在现有执行框架中复用这些资产,而无需更新模型参数。在Terminal-Bench 2.1、SWE-bench Multilingual、SWE-rebench和GAIA上使用Claude Code和Codex进行评估时,Evolver在320次配对运行中将任务成功率从83.13%提升至87.50%,同时将记录的令牌消耗降低了24.24%。在两种条件下均成功解决的265对运行中,令牌使用量下降了17.57%。
事件版本 1.
Key insights
Gene资产存储过程性经验
Evolver将智能体探索过程中获得的过程性知识存储为结构化的Gene资产。它在探索过程中收集这些资产,在任务开始时检索相关资产,并根据反馈进行修订。
不更新模型参数
Evolver支持在现有智能体执行框架中进行经验条件化执行,而无需更新基础模型参数。它使用Claude Code和Codex进行了评估。
更高成功率与更低令牌使用
在选定的320次配对执行诊断集上,任务成功率从83.13%提升至87.50%,提高了4.38个百分点。记录的任务执行令牌消耗降低了24.24%。
已解决任务上的效率提升
在两种条件下均成功解决的265对运行中,令牌消耗下降了17.57%。即使在任务成功率保持不变的情况下,效率收益也会显现。
诊断集注意事项
评估集是为诊断目的而选定的。向未见任务的迁移被列为未来工作。