XNews

Databricks全面部署GPT-6 Astra后分享五项观察

Databricks全面部署GPT-6 Astra后分享五项观察

Databricks联合创始人Patrick Wendell分享了公司在全范围内部署GPT-6 Astra后的五项观察。主要发现包括:能力提升集中在复杂任务上,整体编码支出增长了60%,公司采用带有队列实验的网关进行逐步推广,并通过基于预算的路由来引导模型选择。

Key insights

能力提升集中在复杂任务

Astra在系统设计、长期规划等高复杂度任务上明显优于之前的旗舰模型(Opus 5、Sol 5.6),但在中低复杂度任务上无明显改善。作者提出“饱和假说”:现有模型已在简单任务上近乎完美执行,没有改进空间。这意味着对于以简单任务为主的团队,模型升级的回报率可能有限。

成本上升60%及基于预算的路由

部署Astra后,整体编码支出增加了约60%,这可能是因为更好的模型鼓励更多使用以及此前避免的复杂任务。Databricks将此视为治理信号,而非成功指标。他们实施了基于预算的路由:Astra拥有独立子预算,引导工程师将其用于复杂任务,而日常任务则使用更便宜的模型,从而将模型路由转化为资源分配问题。

推广方法:网关与队列实验

Databricks采用了分阶段推广:先进行200人试点以收集质量和成本信号,随后扩展至3500人。所有流量均通过Unity Gateway,该网关充当模型评估、金丝雀发布和预算管理的控制平面。这展示了新兴的行业标准,即像功能标志一样以实验方式引入新模型。

Source posts