RL是「点金石」还是「挖掘机」？CMU 用可控实验给出答案

卡耐基梅隆大学研究团队通过构建可控合成数据框架，系统分析了预训练、中期训练与强化学习（RL）对语言模型推理能力的因果影响。研究发现，RL仅在针对模型“能力边缘”任务时可提升外推泛化（pass@128），而情境泛化需预训练中至少1%的语境暴露作为基础。在固定算力下，中期训练显著提升RL效率，证明其关键作用。结合过程级奖励可抑制奖励破解，提升推理忠实度。该工作为优化推理模型训练策略提供了实证依据，登顶Alphaxiv并引发学界关注。
来源：https://mp.weixin.qq.com/s/tggYd1PVhpYkDBJcSeOT2Q