Databricks Genie 基准测试:对两个前沿智能体通过率达 91%

Databricks 在实时 Databricks 工作区中,将由 Genie Ontology 驱动的 Genie 与两个前沿智能体在企业数据任务上进行基准测试,每个智能体每项任务运行五次。Genie 在 91% 的运行中通过,而其他智能体分别为 45% 和 58%,且使用的 token 不到一半,完成速度快 3–4 倍。该基准测试与 Turing 共同开发,测试了跨笔记本、仪表板和已保存 SQL 查询使用业务知识的能力,而不仅仅是表查询。
事件版本 1.
Key insights
Genie 在通过率上领先
Genie 在 91% 的运行中通过,而其他两个智能体分别为 45% 和 58%。每个智能体每项任务运行五次。
更低的 token 使用量和更快的完成速度
Genie 使用的 token 不到其他智能体的一半,完成速度快 3–4 倍。
基准测试考察业务上下文,而不仅仅是 SQL
智能体必须在实时 Databricks 工作区中使用分布在笔记本、仪表板和已保存 SQL 查询中的业务知识。该基准测试与 Turing 共同开发。
业务上下文决定正确性
有效的 SQL 查询如果使用了错误的定义或计算规则,仍可能产生错误答案。Genie Ontology 检索并优先处理业务知识,使智能体应用正确的上下文,而不是仅依赖表模式。