Databricks Genieベンチマーク:2つのフロンティアエージェントに対して91%の合格率

Databricksは、Genie Ontologyを搭載したGenieを、ライブのDatabricksワークスペースにおけるエンタープライズデータタスクで2つのフロンティアエージェントと比較ベンチマークし、各エージェントをタスクごとに5回実行した。Genieは実行の91%に合格し、他のエージェントは45%と58%であった。トークン使用量は半分以下で、完了速度は3~4倍速かった。Turingと共同で開発されたこのベンチマークは、テーブルクエリだけでなく、ノートブック、ダッシュボード、保存済みSQLクエリにまたがるビジネス知識の利用をテストした。
イベントのバージョン 1.
Key insights
Genieが合格率でリード
Genieは実行の91%に合格し、他の2つのエージェントは45%と58%であった。各エージェントはタスクごとに5回実行された。
トークン使用量の削減と完了の高速化
Genieは他のエージェントの半分以下のトークンを使用し、完了速度は3~4倍速かった。
ベンチマークはSQLだけでなくビジネスコンテキストをテスト
エージェントは、ライブのDatabricksワークスペース内のノートブック、ダッシュボード、保存済みSQLクエリに分散したビジネス知識を使用する必要があった。ベンチマークはTuringと共同で開発された。
ビジネスコンテキストが正確性を左右する
有効なSQLクエリでも、誤った定義や計算ルールを使用すると間違った答えを生成する可能性がある。Genie Ontologyはビジネス知識を取得して優先順位を付け、エージェントがテーブルスキーマだけに頼るのではなく適切なコンテキストを適用できるようにする。