研究发现决策微调从未产生比重排序器微调更好的重排序器

Michael Dinzinger、Kanishka Ghosh Dastidar 和 Michael Granitzer 的一项研究在十个 TREC DL 和 BEIR 数据集上,比较了决策微调、普通重排序器微调以及未调优的零样本模型在六个 Qwen 骨干模型(0.6B 至 27B 参数)上的表现。在 0.6B 至 9B 的每个骨干模型上,重排序器微调以 5 至 29 个点的 nDCG@10 优势优于决策微调,而在 27B 时两者持平,且决策微调在 9B 以下相较于未调优模型没有任何增益。作者得出结论:决策微调从未产生更好的重排序器,且校准增益取决于问题措辞。
事件版本 1.
Key insights
重排序器微调在 9B 以下领先
在 0.6B 至 9B 参数范围内,重排序器微调在每个骨干模型上以 5 至 29 个点的 nDCG@10 优势同时优于决策微调和未调优模型。在 60 次比较中有 48 次差距具有统计显著性,并且在所有微调均未训练过的数据集上也成立。
27B 时持平
在 27B 参数时,重排序器微调和决策微调得分大致相同。该规模下尚无已发布的重排序器微调模型,因此作者训练了一个。
9B 以下相较于零样本无增益
在 9B 以下,决策微调在回答相同问题时,相较于未调优模型保持在低 2.5 个点至高 0.7 个点的范围内。重排序器微调则增加了 6 至 30 个点。
校准取决于问题措辞
当被问及某段落是否回答查询时,4B 及以上的决策模型比已发布的重排序器微调模型校准得更好。使用来自先前工作的略有不同的问题时,决策模型失去了这一优势。
校准无法弥补排序缺陷
在 9B 以下,重排序器微调在固定阈值下保留了更好的段落。更好的校准并不能弥补更差的排序。