Databricks、GPT-6 Astraの全面展開後に5つの観察結果を共有

Databricksの共同創業者であるパトリック・ウェンデル氏は、社内全体にGPT-6 Astraを展開した際の5つの観察結果を共有しました。主な発見として、能力の向上は複雑なタスクに集中していること、コーディング関連の全体的な支出が60%増加したこと、そして同社は展開にゲートウェイとキュー実験を使用し、予算ベースのルーティングでモデル選択を誘導していることが挙げられます。
Key insights
能力向上は複雑なタスクに集中
Astraは、システム設計や長期的なタスクなどの高複雑性タスクにおいて、以前のフラッグシップモデル(Opus 5、Sol 5.6)を明らかに上回る性能を示す一方、中程度または低複雑性のタスクでは、認識できるほどの改善は見られませんでした。著者は「飽和仮説」を提唱しています。既存のモデルは単純なタスクをほぼ完璧に実行しており、改善の余地が残されていないというものです。これは、モデルのアップグレードが、主に単純なタスクを扱うチームにとってはROIが限定的である可能性を示唆しています。
60%のコスト増加と予算ベースのルーティング
Astraの展開後、コーディング関連の全体的な支出は約60%増加しました。これは、より優れたモデルが使用量を増やし、以前は避けられていた複雑なタスクへの取り組みを促進する可能性が高いためです。Databricksはこれを成功指標ではなく、ガバナンスのためのシグナルとして扱っています。同社は予算ベースのルーティングを実装しました。Astraには個別のサブ予算が設定され、エンジニアが複雑なタスクにはAstraを使用し、日常業務にはより安価なモデルを使用するように誘導し、モデルルーティングをリソース割り当ての問題として捉えています。
展開方法論:ゲートウェイとキュー実験
Databricksは段階的な展開を採用しました。まず200人規模のパイロットで品質とコストのシグナルを収集し、その後3,500人に拡大しました。すべてのトラフィックはUnityゲートウェイを経由し、モデル評価、カナリアリリース、予算管理のためのコントロールプレーンとして機能しました。これは、新しいモデルがフィーチャーフラグのように実験的に導入されるという、業界標準の新たなトレンドを示しています。