腾讯混元的研究重新审视了在线LLM强化学习中的关键批次大小理论,发现重新调整学习率可在一定批次大小范围内保持每个响应的学习效果。扩大批次大小使PPO生成吞吐量提升了2.29倍,GRPO达到验证目标的速度加快了29%。