テンセントの研究、バッチサイズ理論をオンラインLLM強化学習に拡張、時間を29%削減
テンセントの研究者らは、LLMのオンライン強化学習トレーニングにおけるクリティカルバッチサイズ理論を再検討した。バッチサイズを拡大し学習率を調整することで、PPO生成段階で2.29倍のスループット向上、GRPOでは同じ検証目標に到達するまでの時間を29%削減した。
テンセントの研究者らは、LLMのオンライン強化学習トレーニングにおけるクリティカルバッチサイズ理論を再検討した。バッチサイズを拡大し学習率を調整することで、PPO生成段階で2.29倍のスループット向上、GRPOでは同じ検証目標に到達するまでの時間を29%削減した。