XNews

Databricks部署GPT-6 Astra的五点观察:成本上升60%,在复杂任务上取得收益

Databricks部署GPT-6 Astra的五点观察:成本上升60%,在复杂任务上取得收益

Databricks联合创始人Patrick Wendell分享了GPT-6 Astra部署的内部数据:能力提升集中在复杂任务上,总体支出上升60%,他们使用了带有队列实验的网关进行部署。他们实施了基于预算的路由策略,引导工程师使用合适的模型。

Source posts