XNews

NVIDIA的SoL-Pi实现令牌优化自动化,编码代理成本降低49%

NVIDIA的SoL-Pi实现令牌优化自动化,编码代理成本降低49%

NVIDIA的SoL-Pi自动化研究流程发现了四种框架级优化,可将编码代理的令牌消耗减少49%,API成本降低三分之一,同时在EdgeBench上保留了94%的任务性能。

Source posts