XNews

テンセントの研究、バッチサイズ理論をオンラインLLM強化学習に拡張、時間を29%削減

テンセントの研究者らは、LLMのオンライン強化学習トレーニングにおけるクリティカルバッチサイズ理論を再検討した。バッチサイズを拡大し学習率を調整することで、PPO生成段階で2.29倍のスループット向上、GRPOでは同じ検証目標に到達するまでの時間を29%削減した。

Source posts