奖励模型终于迎来预训练新时代！上海AI Lab、复旦POLAR，开启Scaling新范式

强化学习在大语言模型后训练中面临奖励模型设计瓶颈，传统偏好建模依赖高成本标注数据，规则验证则难以适应通用任务。上海人工智能实验室与复旦大学联合提出 POLAR 奖励模型，采用策略判别学习，通过对比学习衡量策略分布间的“距离”，无需大量人工偏好数据即可完成训练。POLAR 分为预训练和微调两阶段，前者利用合成数据自动训练，后者仅需少量偏好样本。实验表明，POLAR 在偏好评估和强化学习效果上均优于当前最优模型，如 POLAR-7B 微调后使 Llama-3.1-8B 性能平均提升 9%。其参数效率高、Scaling 效应明显，展现出了构建通用奖励模型的新路径。
来源：https://mp.weixin.qq.com/s/IAJ9cmVa9QszodhYIdiknQ