XNews

AA-PersonalityBench:顶级开放权重模型在真实性上排名低于专有模型

AA-PersonalityBench:顶级开放权重模型在真实性上排名低于专有模型

Artificial Analysis 在 AA-PersonalityBench 中对 Artificial Analysis 智能指数得分最高的 10 个开放权重模型和 10 个专有模型进行了比较,按 30 项个性特征对每个模型进行 1 至 100 的百分位排名。顶级开放权重模型在“真实”一项上平均比顶级专有模型低 32 分,是所有特征中差距最大的,同时在“务实”、“自然听感”、“基于证据”、“结构化”和“文雅”方面排名也较低,而在“垃圾内容”、“底线总结”和“可扫读”方面排名较高。

事件版本 1.

Key insights

真实性差距最大

顶级开放权重模型在“真实”一项上比顶级专有模型低 32 分,是所有特征中差距最大的,分别为 47 对 79。

专有模型在六项特征上领先

开放权重模型在“真实”(79 对 47)、“务实”(79 对 49)、“自然听感”(77 对 52)、“基于证据”(76 对 47)、“结构化”(73 对 45)和“文雅”(70 对 47)方面排名较低。

开放权重模型在三项特征上领先

开放权重模型在“垃圾内容”(30 对 49)、“底线总结”(47 对 62)和“可扫读”(41 对 53)方面排名较高。

基准测试方法

该比较涵盖了 Artificial Analysis 智能指数得分最高的 10 个开放权重模型和 10 个专有模型,每个模型在 30 项个性特征上按 1 至 100 进行百分位排名。

Source posts