分数中心化与重要性采样相结合,解决LLM强化学习训练-推理不匹配问题

据技术分析,分数中心化与重要性采样是解决LLM强化学习中训练-推理不匹配问题的互补方法。分数中心化通过从每个token的分数中减去采样器的期望分数来消除梯度漂移,而重要性采样则将token级贡献重新加权至训练器分布。结合两种方法可纠正分布不匹配并消除梯度漂移,且不会产生无界重要性比率,实证结果表明,在严重不匹配(如陈旧rollout)情况下,组合方法优于单独使用分数中心化。
事件版本 1.
Key insights
分数中心化消除梯度漂移
在训练-推理不匹配情况下,token从采样器策略中采样,而梯度使用训练器策略计算,产生称为梯度漂移的虚假梯度分量。分数中心化从每个采样token的分数中减去采样器下的期望分数,在保留奖励与token级分数之间依赖奖励的协方差的同时消除漂移。
重要性采样纠正分布不匹配但存在不稳定性风险
重要性采样使用token级训练器与采样器概率的比率对梯度贡献重新加权。较大的重要性比率可能导致高方差梯度和不稳定更新,而裁剪或掩码极端比率会重新引入分数中心化旨在消除的梯度漂移。
结合两种方法简单直接
组合方法计算重要性加权的token级分数,并在每个前缀处减去采样器下的期望重要性加权分数,而非对原始分数进行中心化。这解决了分布不匹配和梯度漂移问题,且不依赖于无界重要性比率。
实证性能取决于不匹配严重程度
当训练-推理不匹配源于轻微数值差异(如轻度量化)时,单独使用分数中心化表现良好,重要性采样带来的额外收益很小。在严重不匹配(如陈旧rollout)情况下,将分数中心化与截断或掩码重要性采样结合使用,比单独使用分数中心化取得更好的性能。