SoL-Pi:英伟达的令牌节省技术

英伟达研究人员开发了SoL-Pi技术,该技术优化了编码代理的编排层(harness layer),将令牌消耗减少近一半。该方法包含动作融合(action fusion)和上下文压缩(context compaction)等四种机制,通过自动化研究流程发现,并在51个长周期任务上得到验证。
Key insights
SoL-Pi优化编排层以提升令牌效率
英伟达的SoL-Pi技术通过优化编排层而非模型本身,减少了编码代理中的令牌使用。它识别并消除了流程层面的浪费,实现了令牌流量减少49%以及API成本降低三分之一。该方法通过自动化研究流程发现,该流程测试了152个研究方向与535个环境。
四种机制通过严格筛选得以保留
SoL-Pi的四种幸存机制包括动作融合(Action Fusion)、上下文压缩(Context Compact)、观察打包(ObservationPack)和证据精简器(Evidence Reducer)。这些机制从超过3000次运行和6万次智能体-环境交互中筛选出来,并设有严格的接受门槛以防止过拟合。这些技术是模型无关的,并且可跨任务迁移。