XNews

研究:決定ファインチューニングはリランカーファインチューニングを上回るリランカーを決して生み出さない

研究:決定ファインチューニングはリランカーファインチューニングを上回るリランカーを決して生み出さない

Michael Dinzinger、Kanishka Ghosh Dastidar、Michael Granitzerによる研究は、0.6Bから27Bパラメータまでの6つのQwenバックボーンで、10のTREC DLおよびBEIRコレクション上で、決定ファインチューニング、通常のリランカーファインチューニング、未調整のゼロショットモデルを比較した。リランカーファインチューニングは、0.6Bから9Bまでのすべてのバックボーンで決定ファインチューニングをnDCG@10で5〜29ポイント上回り、27Bでは両者は同等であった。また、決定ファインチューニングは9Bまで未調整モデルに対して何ら追加の効果をもたらさなかった。著者らは、決定ファインチューニングがより優れたリランカーを決して生み出さず、キャリブレーションの向上は質問の文言に依存すると結論付けた。

イベントのバージョン 1.

Key insights

リランカーファインチューニングが9Bまでリード

0.6Bから9Bパラメータにおいて、リランカーファインチューニングはすべてのバックボーンで決定ファインチューニングと未調整モデルの両方をnDCG@10で5〜29ポイント上回った。この差は60の比較のうち48で統計的に有意であり、どのファインチューニングも訓練されていないコレクションでも同様に確認された。

27Bでの同等性

27Bパラメータでは、リランカーファインチューニングと決定ファインチューニングはほぼ同じスコアであった。そのサイズでリリースされたリランカーファインチューニングはなかったため、著者らは自ら訓練した。

9Bまでゼロショットに対する向上なし

9Bまで、決定ファインチューニングは同じ質問をした未調整モデルに対して2.5ポイント下から0.7ポイント上の範囲にとどまった。リランカーファインチューニングは6〜30ポイントを追加した。

キャリブレーションは質問の文言に依存

あるパッセージがクエリに答えるかどうかを尋ねられた場合、4B以上の決定モデルは公開されているリランカーファインチューニングよりもキャリブレーションが優れていた。先行研究から取られたわずかに異なる質問では、決定モデルはこの優位性を失った。

キャリブレーションはランキングを修正しない

9Bまで、リランカーファインチューニングは固定閾値でより良いパッセージを保持した。より良いキャリブレーションは、より悪いランキングを補うことはなかった。

Source posts