AI代理部署的成本优化策略

Databricks分享了大规模管理AI编码成本的策略,旨在解决广泛AI访问与人均成本控制之间的张力。核心概念区分了效率前沿(性价比最佳的模型)与智能前沿。确定了四个成本杠杆:首先,持续将工作负载迁移至效率前沿模型,并通过内部评估而非公开基准验证;Stripe因质量与价格不匹配拒绝了Opus 4.7。其次,实施动态请求与任务路由,使系统选择最便宜的足够模型;Databricks实现了30%以上的成本降低,同时质量与最昂贵模型持平。第三,采用渐进式摩擦——实时支出可见性、自动清算支出门槛、审批要求及模型降级——而非硬性预算,后者因损害生产力而很少使用。第四,通过上下文压缩、提示词调优、任务分解及提示缓存优化减少令牌消耗;Databricks在无质量损失的情况下将令牌量削减约50%。这些能力需要一个AI网关来实现集中模型管理、成本可观测性及会话日志记录。此外,针对Fable 5的成本高效提示设计识别出三种模式——编排器、顾问、验证器——实验表明,顾问模式以34%的令牌成本实现了90%的独立性能。必须权衡边界重复与扇出重叠带来的协调成本与节省。
Key insights
效率前沿进步快于智能前沿
每美元提供最佳智能的模型几乎每周都在改进,而绝对智能的进步则较为缓慢。最大的成本杠杆来自持续切换到这些效率前沿模型,而非通过谈判价格。
动态路由以极低成本匹配顶级模型质量
在Databricks的部署中,请求级和任务级路由将工作分配给最便宜的足够模型,实现了30%以上的成本降低,同时保持与最昂贵模型的质量相当。
硬性预算适得其反;渐进式摩擦效果更佳
切断访问会损害生产力,而支出最高的用户往往也是生产力最高的用户。相反,实时可见性、自动清算门槛和模型降级可以在不阻碍工作的情况下控制成本。
提示设计模式实现选择性使用昂贵智能
编排器、顾问和验证器模式使得Fable 5仅在其判断能增加价值的地方应用,而由更便宜的模型处理执行。对于中期修正比前期规划更重要的探索任务,顾问模式被证明最为有效。