XNews

Google、Gemini Decision 1をリリース、Artificial Analysis Decision Indexで66を記録

Google、Gemini Decision 1をリリース、Artificial Analysis Decision Indexで66を記録

Googleは初の意思決定モデル「Gemini Decision 1」をリリースした。Artificial Analysis Decision Index v2.1で66を記録し、トップのDrex Max v1.1とGLiDE v1.2の73には7ポイント及ばない。知識・推論ベンチマークではAA-Omniscience-Decisionで66、HLE-MultiChoiceで49を記録してリードするが、AA-Paperclipの分類・抽出ベンチマークでは後れを取る。価格は100万入力トークンあたり0.10ドルで、100万タスクあたり345ドルかかり、Drex Max v1.1の103ドルの3倍以上となる。

イベントのバージョン 1.

Key insights

Decision Indexで中位

Gemini Decision 1はArtificial Analysis Decision Index v2.1で66を記録し、Elephant 9BやJev 1.14と同水準で、トップのDrex Max v1.1とGLiDE v1.2(いずれも73)には7ポイント及ばない。

知識・推論ベンチマークでリード

Gemini Decision 1はAA-Omniscience-Decisionで66、HLE-MultiChoiceで49を記録し、これらのベンチマークでリードするが、AA-Paperclipの分類・抽出ベンチマークでは後れを取り、全15問を正答した文書の割合は33%で、Drex Max v1.1の63%を下回る。

タスクあたりコストが主要モデルを上回る

Gemini Decision 1は100万タスクあたり345ドルかかり、Drex Max v1.1の103ドル、Jev 1.14の156ドルと比較される。これは100万入力トークンあたり0.10ドルという価格設定によるもので、Drex Max v1.1の0.03ドルに対して高い。GPT-6 Lunaの339ドルと同水準である。

推論タスクで高いキャリブレーション

Gemini Decision 1のIndex全体でのBrierスコアは0.18で、Drex Max v1.1の0.16とJev 1.14の0.19の中間にある。HLE-MultiChoiceでは0.20と全モデル中でも低い部類に入り、When2Callでは0.14で、Drex Max v1.1の0.04と対比される。

Source posts