AA-PersonalityBench:トップオープンウェイトモデルはプロプライエタリモデルより真実性で低くランク付け

Artificial Analysisは、AA-PersonalityBenchにおいてArtificial Analysis Intelligence Indexスコアが最も高いオープンウェイトモデル10個とプロプライエタリモデル10個を比較し、各モデルを30のパーソナリティ特性にわたって1から100のパーセンタイルでランク付けした。トップオープンウェイトモデルは「Truthful」でトッププロプライエタリモデルより平均32ポイント低く、これは全特性中最大の差であり、「Pragmatic」「Natural Sounding」「Evidence-Based」「Structured」「Literate」でも低くランク付けされた一方、「Slop」「Bottom-Line Summary」「Scannable」では高くランク付けされた。
イベントのバージョン 1.
Key insights
真実性の差が最大
トップオープンウェイトモデルは「Truthful」でトッププロプライエタリモデルより32ポイント低くランク付けされ、これは全特性中最大の差であり、47対79であった。
プロプライエタリモデルが6特性でリード
オープンウェイトモデルは「Truthful」(79対47)、「Pragmatic」(79対49)、「Natural Sounding」(77対52)、「Evidence-Based」(76対47)、「Structured」(73対45)、「Literate」(70対47)で低くランク付けされた。
オープンウェイトモデルが3特性でリード
オープンウェイトモデルは「Slop」(30対49)、「Bottom-Line Summary」(47対62)、「Scannable」(41対53)で高くランク付けされた。
ベンチマーク手法
比較は、Artificial Analysis Intelligence Indexスコアが最も高いオープンウェイトモデル10個とプロプライエタリモデル10個を対象とし、各モデルを30のパーソナリティ特性で1から100のパーセンタイルにランク付けした。