Databricks、GPT-6 Astraを導入:コストと能力に関する所見

Databricksの共同創業者であるPatrick Wendell氏は、全従業員にGPT-6 Astraを導入した後の所見を共有した。能力の向上は高複雑性タスクに集中しており、全体的なコーディング支出は60%増加した。同社はゲートウェイベースの展開と予算ルーティングを用いて、適切なタスクを適切なモデルに誘導している。
Key insights
GPT-6 Astraの能力向上は複雑なタスクに集中
Astraは、システム設計や長期タスクなどの高複雑性タスクにおいて、従来のフラッグシップモデル(Opus 5、Sol 5.6)を明らかに上回る性能を示すが、中程度または低複雑性タスクでは目立った改善は見られない。著者は、単純なタスクはすでにほぼ完璧に実行されているという「飽和仮説」を提唱している。
Astra導入後、コーディング支出が全体で60%増加
Astraにアクセスできるエンジニアは、コーディング支出全体が約60%増加した。これは生産性の向上ではなく、コスト側の観察であり、より優れたモデルが使用量の増加やエージェントタスクの長期化を促進したためと考えられる。Databricksはこれを称賛すべき指標ではなく、ガバナンスのためのシグナルと捉えている。
ゲートウェイベースの展開とキュー実験による制御された導入
DatabricksはUnity Gatewayを使用してコホートベースの実験を実施した。200人のパイロットで品質とコストのシグナルを収集し、その後3,500人に拡大した。このゲートウェイは、モデル評価、カナリアリリース、予算管理のための統合インフラとして機能する。新しいモデルはフィーチャーフラグのように実験的に導入される。
予算ルーティングが経済的にモデル選択を導く
Astraには別途サブ予算が割り当てられ、エンジニアが複雑なタスクにはAstraを、日常業務にはより安価なモデルを使用するように促している。エンジニアは全体予算内でツールを自由に組み合わせることができ、予算は調整可能である。これにより、モデルルーティングは技術的な問題から組織的なリソース配分の問題へと転換される。