XNews

LLMの比較と能力評価

LLMの比較と能力評価

最近、複数のLLMに関する評価と比較から二つの結論が得られました。• gemini 3.0 proは、オフラインの機密設計によるIQテストで130(歴史的最高得点)、Mensaテストで142を記録し、gpt-5 proより1点低いですが、平均得点はgpt-5 proを大きく上回っています(2025-11-24)。• 著者は、IQが知能を測る唯一の基準ではなく、知能は多次元的な構造であると指摘しています。• 複数モデルの比較テストでは、三つのLLMがそれぞれ異なる特性を持つことが示されました:長文分析と洞察力の生成において、sonnet 4.5はしばしばより深い洞察を提供すると考えられています;gpt 5.1 thinkingとgemini 3.0 proは特定のタスクで近い結果を示しますが、面接記録の分析では異なる結果を示します(geminiは「完璧な候補者」を提示し、gpt-5.1は問題を指摘し、sonnetは不一致を指摘し、さらに多くの洞察を提供します)。• テスト方法は長文を入力し、分析を展開するよう求めるもので、著者は同じ問題に対して三つのモデルを比較し、それぞれの長所と短所を引き出しました。

Key insights

gemini 3.0 proが制御されたIQテストで高得点を取得

オフラインの機密問題を用いたIQテストにおいて、gemini 3.0 proのオフライン版は130、Mensa版は142の得点を記録しました;Mensaのスコアはgpt-5 proより1点低いですが、総合的な平均ではgemini 3.0 proの平均IQ得点がgpt-5 proを大きく上回っています。評価はオフライン版の問題が新しく機密であることを示しており、解答の漏洩や訓練データの流出の可能性を排除しています。

異なるLLMの洞察力出力と分析スタイルの違い

複数回の長文入力と分析テストでは、sonnet 4.5が洞察力の出力において他のモデルより優れていると評価され、不一致や潜在的な問題を指摘する能力があります;gpt 5.1 thinkingは利点を示しつつ問題を指摘するバランスの取れたパフォーマンスを発揮します;gemini 3.0 proは特定のシナリオ(面接記録など)でより肯定的な結論(「完璧な候補者」など)を出す傾向があり、三者の同一タスクにおける結論には顕著な違いがあります。

IQを評価の次元としての限界が明確に指摘される

発表者は、IQスコアが人間やLLMの知能を測る唯一の基準ではないことを警告し、知能の構造は複雑で多次元的であり、IQはその一つの次元に過ぎないと述べています;オフライン版のIQは通常オンライン版より10~20ポイント低く、テスト結果は多次元的な評価の視点から解釈する必要があります。

Source posts