XNews

谷歌发布Gemini Decision 1,在Artificial Analysis决策指数中得分66

谷歌发布Gemini Decision 1,在Artificial Analysis决策指数中得分66

谷歌发布了其首个决策模型Gemini Decision 1,该模型在Artificial Analysis决策指数v2.1中得分为66,落后于领先者Drex Max v1.1和GLiDE v1.2(得分73)七分。该模型在知识和推理基准测试中领先,在AA-Omniscience-Decision上得分为66,在HLE-MultiChoice上得分为49,但在AA-Paperclip分类和提取基准测试中落后。其定价为每100万输入token 0.10美元,每100万任务成本为345美元,是Drex Max v1.1的103美元成本的三倍多。

事件版本 1.

Key insights

在决策指数中处于中游

Gemini Decision 1在Artificial Analysis决策指数v2.1中得分为66,与Elephant 9B和Jev 1.14持平,落后于领先者Drex Max v1.1和GLiDE v1.2七分,两者得分均为73。

在知识和推理基准测试中领先

Gemini Decision 1在AA-Omniscience-Decision上得分为66,在HLE-MultiChoice上得分为49,在这些基准测试中领先,但在AA-Paperclip分类和提取基准测试中落后,在33%的文档上全部15个问题回答正确,而Drex Max v1.1为63%。

每任务成本超过领先模型

Gemini Decision 1每100万任务成本为345美元,而Drex Max v1.1为103美元,Jev 1.14为156美元,这归因于其每100万输入token 0.10美元的价格,而Drex Max v1.1为0.03美元;它与GPT-6 Luna的339美元相似。

在推理任务上校准良好

Gemini Decision 1在整个指数上的Brier分数为0.18,介于Drex Max v1.1的0.16和Jev 1.14的0.19之间,在HLE-MultiChoice上得分为0.20,是所有模型中最低之一,在When2Call上为0.14,而Drex Max v1.1为0.04。

Source posts