GPT-6 Astraの展開と能力分析

Databricksの共同創業者Patrick Wendellは、GPT-6 Astraを3,500人の従業員に展開したと報告した。能力向上は高複雑性タスクに集中しており、全体的なコーディング支出は60%増加した。展開にはゲートウェイベースのコホート実験(200人のパイロットから3,500人へ)が使用された。また、AstraはIsaac Labを介して器用な手のペン回しポリシーを自律的に1.5日で訓練した。
Key insights
能力向上は複雑なタスクに集中
Databricksは、Astraが高複雑性タスク(システム設計や長期タスクなど)において、従来のフラッグシップモデル(Opus 5、Sol 5.6)を明らかに上回る性能を示したが、中程度または低複雑性のタスクでは認識できる改善は見られなかったことを発見した。その説明として飽和仮説が提唱されている。既存のモデルは単純なタスクではほぼ完璧に近いというものである。実用的な含意として、企業は新しいモデルを全体的なスコアではなく、タスクの複雑性の階層ごとに評価すべきであり、日常業務が主に中・低複雑性のタスクである場合、アップグレードのROIは限定的である可能性がある。
+60%のコスト支出増加がガバナンスの必要性を示唆
最も重要な定量的データポイントは、Astraを使用するエンジニアによる全体的なコーディング支出が60%増加したことである。これは生産性の主張ではなく、コスト側の観察である。より優れたモデルは、これまで試みられなかったタスクやより長いエージェントセッションを含む、より多くの使用を促進する。Databricksはこれを成果ではなくガバナンスのシグナルとして捉え、それが直接的に予算設計の動機となった。これは古典的なジェボンズのパラドックスのシナリオとして説明されている。より効率的なツールが総支出を押し上げるというものである。
ゲートウェイとコホート実験による展開パイプライン
展開は200人のパイロットテストを経て、品質とコストのシグナルを収集し、その後3,500人に拡大された。コホート実験は社内の「Unity Gateway」を通じて実施された。これは新たな標準的なガバナンスパターンを表している。ゲートウェイはリクエスト転送、モデル評価、カナリアリリース、予算管理のための統一インフラとなる。新しいモデルは直接切り替えられるのではなく、フィーチャーフラグのように実験的に導入される。
ルーティングメカニズムとしての予算
DatabricksはAstraに独立したサブ予算を設定し、エンジニアが複雑なタスクにはAstraを、日常業務にはより安価なモデルを使用するように誘導した。重要な詳細として、エンジニアは全体予算内でツールとモデルを自由に組み合わせることができ、予算は定期的なレビューを通じて調整可能なメカニズムを持つ。これはハードキャップではなく、予算を価格設定とインセンティブとして機能させるものであり、モデルルーティングを技術的な問題から組織的なリソース配分問題へと変換するものである。
データ保持ポリシーがFableとの比較を阻む
報告書は、AstraがAnthropicのFableと比較できなかったのは、Fableのデータ保持ポリシーが要件を満たしておらず、広く有効化されていなかったためであると述べている。これはしばしば見落とされる現実を浮き彫りにしている。データコンプライアンスは、エンタープライズモデル選定の最初の関門となることが多く、強力なモデルでもデータ境界要件を満たさなければ調達に入ることができない。
自律的なロボットスキル学習のデモンストレーション
別のデモンストレーションでは、Astraに単一のプロンプトが与えられた。「器用な手にペン回しをさせる。Isaac LabをRLに使用し、Sharpaハンドを使用し、ペンの3Dメッシュを自分で作成せよ。訓練されたポリシーと可視化ビデオを提出せよ。」Astraは1日半にわたって自律的に動作し、ポリシーの訓練を含めて最終結果を提供した。これは、独立した多段階のロボティクス学習ワークフローの能力を示している。