基准和模型排名分析
研究人员提出了BENCHMARK²来评估大型语言模型基准的质量。- BENCHMARK²使用三个指标:排名一致性、可区分性和能力对齐偏差。- 排名一致性衡量基准排名在不同数据集中的一致性,使用Kendall的τ。- 可区分性衡量基准区分模型性能的能力;提供了阈值(>0.4为强,<0.2为弱)。- 能力对齐检测模型家族内的期望反转(较小模型意外地优于较大模型)。- 应用于15个基准和11个模型:数学基准差异显著(AIME高,MATH-500低);推理基准在对齐和可区分性之间存在权衡(ARC高对齐/低可区分性;BBH相反)。- 该框架能够构建紧凑的测试集(35%的项目),保持排名和稳定性;作者建议基准的最低阈值。
Key insights
BENCHMARK²提供了LLM基准的三轴质量评分
所提出的BENCHMARK²框架在排名一致性、可区分性和能力对齐偏差上评估基准。排名一致性使用Kendall的τ比较不同数据集中的基准排名;可区分性评估基准是否能够区分模型;能力对齐偏差衡量模型家族内意外的性能反转。该框架旨在揭示低质量测试并减少误导性评估。
实证结果显示基准类型之间的权衡
研究人员在对15个基准和11个模型应用BENCHMARK²时发现,数学基准存在差异(AIME强;MATH-500显示天花板效应),推理基准在对齐与可区分性之间存在权衡(例如,ARC高对齐/低可区分性;BBH相反),知识基准则更为稳定。客观答案任务显示出更高的对齐得分。
紧凑、高质量的测试集可以复制完整的基准排名
研究人员展示了选择具有高能力对齐和可区分性的项目可以使用约35%的原始项目生成紧凑的基准,同时保持排名一致性和稳定性,从而实现更高效的评估。