スコアセンタリングと重要度サンプリングの組み合わせによるLLM強化学習の訓練-推論不一致の修正

技術分析によると、スコアセンタリングと重要度サンプリングは、LLM強化学習における訓練-推論不一致に対処するための相補的な手法である。スコアセンタリングは、各トークンのスコアから期待サンプラースコアを差し引くことで勾配ドリフトを除去し、重要度サンプリングはトークンレベルの寄与をトレーナー分布に向けて再重み付けする。両手法を組み合わせることで、分布不一致を補正し、重要度比の無制限化なしに勾配ドリフトを排除できる。実証結果は、古いロールアウトなどの深刻な不一致下で、組み合わせがスコアセンタリング単独よりも優れた性能を発揮することを示している。
イベントのバージョン 1.
Key insights
スコアセンタリングは勾配ドリフトを排除する
訓練-推論不一致下では、トークンはサンプラーポリシーからサンプリングされる一方、勾配はトレーナーポリシーを用いて計算されるため、勾配ドリフトと呼ばれる偽の勾配成分が生じる。スコアセンタリングは、サンプリングされた各トークンのスコアからサンプラー下での期待スコアを差し引くことで、報酬とトークンレベルスコアの間の報酬依存共分散を保持しつつ、ドリフトを除去する。
重要度サンプリングは分布不一致を補正するが不安定性のリスクがある
重要度サンプリングは、トークンレベルでトレーナーとサンプラーの確率比を用いて勾配寄与を再重み付けする。大きな重要度比は高分散勾配と不安定な更新を引き起こす可能性があり、極端な比をクリッピングまたはマスキングすると、スコアセンタリングが排除しようとする勾配ドリフトが再導入される。
両手法の組み合わせは簡潔である
この組み合わせは、重要度重み付きトークンレベルスコアを計算し、各プレフィックスでサンプラー下での期待重要度重み付きスコアを差し引くものであり、元のスコアをセンタリングするのではない。これにより、無制限の重要度比に依存することなく、分布不一致と勾配ドリフトの両方に対処する。
実証性能は不一致の深刻度に依存する
訓練-推論不一致が軽度の量子化などの小さな数値的差異に起因する場合、スコアセンタリング単独で良好に機能し、重要度サンプリングによる追加の利益はほとんどない。古いロールアウトなどの深刻な不一致下では、スコアセンタリングと打ち切りまたはマスク付き重要度サンプリングを組み合わせることで、スコアセンタリング単独よりも優れた性能を達成する。