XNews

Artificial Analysis 发布自 2022 年以来语言模型能力进展指数

Artificial Analysis 发布自 2022 年以来语言模型能力进展指数

Artificial Analysis 宣布推出 Artificial Analysis 进展指数(Artificial Analysis Progress Index),这是一个覆盖自 2022 年以来所有语言模型的单一能力量表,与 Intelligence Index v5 一同发布。该进展指数使用项目反应理论(item response theory),基于所有评估(包括已退役或已排除的任务)为每个模型估算一个通用能力分数,从而实现跨时间比较。自推理模型出现以来,前沿能力每年提升约 65 至 70 分,约为 2023 年速度的两倍,已发布模型中的最高分在 2026 年达到 352 分,由 Gemini 4 Carbon 取得。

事件版本 1.

Key insights

进展指数实现跨时间比较

进展指数使用项目反应理论,基于所有评估中的底层任务(包括已退役或已排除的任务)为每个模型估算一个通用能力分数。Intelligence Index 仍是衡量当前模型智能水平的主要指标,且其不同版本的分数不可相互比较。

自推理模型出现以来前沿增速大约翻倍

已发布模型中的最高分在 2023 年上升 35 分,2024 年上升 67 分,2025 年上升 68 分,2026 年迄今上升 56 分。自推理模型出现以来,前沿能力每年提升约 65 至 70 分,约为 2023 年速度的两倍。

开放权重模型落后专有模型约四个月

自 2025 年 1 月以来,每一次新的开放权重最高分都在某个专有模型首次达到该分数后 2 至 8 个月出现,中位数约为 4 个月。DeepSeek V4.1 Flash 1017 是已发布权重模型中得分最高的模型,为 324 分。

新前沿分数刷新更加频繁

已发布模型中的最高分在 2023 年有 2 个发布日期被刷新,2024 年有 4 个,2025 年有 9 个,2026 年迄今有 11 个,今年大约每四周刷新一次。

前沿领导地位已成为势均力敌的竞争

自 2022 年 11 月开始测算以来的前 27 个月,OpenAI 一直保持第一的位置。2026 年,OpenAI、Anthropic 和 Google 之间的领先地位出现了快速变化。

Source posts