DeepSeek推出提升GRM可扩展性的新方法SPCT

DeepSeek 提出一种新方法 SPCT（Self-Principled Critique Tuning），用于提升通用奖励模型（GRM）在推理阶段的可扩展性。该方法结合拒绝式微调与基于规则的在线强化学习，使 GRM 能够自动生成高质量原则和批评内容。基于此技术，DeepSeek 开发了 DeepSeek-GRM-27B 模型，并引入元奖励模型优化推理性能。实验结果表明，SPCT 在多个基准测试中显著优于现有方法，且推理阶段的扩展性收益高于增加模型规模带来的训练效果提升。
来源：https://mp.weixin.qq.com/s/TbPWc4ooFyf0it5pEaLRUA