LLM强化学习不稳定之谜，被Qwen团队从「一阶近似」视角解开

阿里千问团队提出一种新的强化学习（RL）公式化方法，解释了在何种条件下使用token级优化目标来处理序列级奖励是合理的。研究表明，当训练与推理差异及策略偏差较小时，token级目标可作为序列级奖励的一阶近似，其有效性依赖于重要性采样、Clipping和Routing Replay等机制。实验基于一个30B参数的MoE模型，耗用数十万GPU小时，在数学推理任务上验证了结论。结果显示，带重要性采样的策略梯度方法在on-policy设置下最稳定；引入off-policy更新时，必须结合Clipping与Routing Replay以维持稳定。此外，不同冷启动方式最终性能趋同，说明RL训练的稳定性比初始化细节更为关键。
来源：https://mp.weixin.qq.com/s/a7XGFA8U158c6cYnfm8Y9w