Artificial Analysis、2022年以降の言語モデル能力の進歩指数を発表

Artificial Analysisは、2022年以降のすべての言語モデルを対象とした単一の能力尺度であるArtificial Analysis Progress Indexを発表した。これはIntelligence Index v5と同時に公開された。Progress Indexは項目応答理論を用いて、廃止または除外されたタスクを含むすべての評価にわたってモデルごとに1つの一般的な能力スコアを推定し、時間を超えた比較を可能にする。推論モデルの登場以降、フロンティアは年間約65~70ポイント上昇しており、これは2023年のペースの約2倍である。公開されたモデルの中で最高スコアは、2026年のGemini 4 Carbonの352に達した。
イベントのバージョン 1.
Key insights
Progress Indexは時間を超えた比較を可能にする
Progress Indexは項目応答理論を用いて、廃止または除外されたものを含むすべての評価の基礎タスクから、各モデルの一般的な能力スコアを1つ推定する。Intelligence Indexは現在のモデル知能の主要な指標であり続け、異なるバージョンのスコアは比較できない。
推論モデル以降、フロンティアの成長はほぼ倍増
公開されたモデルの中で最高スコアは、2023年に35ポイント、2024年に67ポイント、2025年に68ポイント、2026年はこれまでに56ポイント上昇した。推論モデルの登場以降、フロンティアは年間約65~70ポイント上昇しており、これは2023年のペースの約2倍である。
オープンウェイトモデルはプロプライエタリモデルに約4ヶ月遅れている
2025年1月以降、オープンウェイトの最高スコアが更新されるたびに、プロプライエタリモデルが最初にそのスコアに到達してから2~8ヶ月後であり、中央値は約4ヶ月であった。DeepSeek V4.1 Flash 1017は、公開されたウェイトを持つモデルの中で最高スコアの324である。
新たなフロンティアスコアはより頻繁に設定される
公開されたモデルの中で最高スコアは、2023年に2つのリリース日、2024年に4つ、2025年に9つ、2026年はこれまでに11つ更新され、今年は約4週間に1回のペースである。
フロンティアのリーダーシップは接戦となっている
OpenAIは、2022年11月以降に測定された最初の27ヶ月間、第1位を保持した。2026年には、OpenAI、Anthropic、Googleの間でリーダーの地位が急速に変化している。