XNews

Evolver框架将智能体任务成功率提升至87.50%,令牌消耗降低24.24%

Evolver框架将智能体任务成功率提升至87.50%,令牌消耗降低24.24%

研究人员推出了Evolver,这是一个经验驱动的框架,它将智能体探索过程中获得的过程性知识存储为结构化的Gene资产,并在现有执行框架中复用这些资产,而无需更新模型参数。在Terminal-Bench 2.1、SWE-bench Multilingual、SWE-rebench和GAIA上使用Claude Code和Codex进行评估时,Evolver在320次配对运行中将任务成功率从83.13%提升至87.50%,同时将记录的令牌消耗降低了24.24%。在两种条件下均成功解决的265对运行中,令牌使用量下降了17.57%。

事件版本 1.

Key insights

Gene资产存储过程性经验

Evolver将智能体探索过程中获得的过程性知识存储为结构化的Gene资产。它在探索过程中收集这些资产,在任务开始时检索相关资产,并根据反馈进行修订。

不更新模型参数

Evolver支持在现有智能体执行框架中进行经验条件化执行,而无需更新基础模型参数。它使用Claude Code和Codex进行了评估。

更高成功率与更低令牌使用

在选定的320次配对执行诊断集上,任务成功率从83.13%提升至87.50%,提高了4.38个百分点。记录的任务执行令牌消耗降低了24.24%。

已解决任务上的效率提升

在两种条件下均成功解决的265对运行中,令牌消耗下降了17.57%。即使在任务成功率保持不变的情况下,效率收益也会显现。

诊断集注意事项

评估集是为诊断目的而选定的。向未见任务的迁移被列为未来工作。

Source posts