NVIDIA的SoL-Pi将编码智能体的令牌使用量减半

NVIDIA研究人员开发了SoL-Pi,这是一种自动化流程,用于发现编码智能体的框架级优化。它找到了四种机制,可将令牌流量减少49%,同时在EdgeBench上保留94%的任务得分。这些优化与模型无关,且可在不同任务间迁移。
Key insights
SoL-Pi自动化发现令牌节省机制
该系统在六个类别中搜索了152个研究方向,进行了3000多次实验,涉及60000多次智能体-环境交互,并确定了四种幸存机制。搜索使用了独立验证以防止进化过拟合,并在冻结候选后仅对保留集进行一次评估。
四种机制针对特定的令牌浪费模式
Action Fusion将编辑和测试合并为一次调用。Context Compact仅在子任务完成时进行压缩,检查节省是否覆盖缓存重写成本。ObservationPack将大型输出本地归档,仅给模型提供句柄和摘录。Evidence Reducer使用廉价模型对日志进行提炼,并带有验证和回退机制。
SoL-Pi实现49%令牌减少且得分损失极小
在EdgeBench的51个长周期任务上,SoL-Pi保留了约94%的得分,同时将令牌流量减少了49%,API成本减少了约三分之一。这些优化迁移到Opus 5上节省了44.7%,表明它们针对的是浪费模式而非模型特定习惯。单位得分成本从0.586美元降至0.417美元。