挑战GRPO，英伟达提出GDPO，专攻多奖励优化

英伟达提出新型强化学习算法 GDPO，以解决 GRPO 在多奖励优化中因聚合归一化导致的信号压缩与训练不稳定问题。GDPO 对各奖励独立归一化，保留细粒度差异，实验显示其在工具调用、数学与代码推理任务中均优于 GRPO：在 Qwen 和 DeepSeek 系列模型上，准确率最高提升 6.7%，格式合规性提高逾 4%，超长响应率降幅达 80%，且在双、三重奖励设置下保持更优的多目标平衡，验证了其有效性与泛化能力。
来源：https://mp.weixin.qq.com/s/dgHAy55PJuvOFJiC5tryQA