轻量级RL算法低成本提升模型推理能力

荷兰开发者Raz利用Reinforce-Lite算法，仅用约10美元就在3B模型上成功复现DeepSeek的顿悟时刻，使模型展现出逻辑推理等能力。该算法通过简化强化学习流程，移除复杂组件，极大降低了计算成本与难度。同时，微软亚研院的研究显示7B模型经过RL训练后同样获得了高级推理技能。研究结果表明，在有限资源条件下，轻量级RL算法可有效提升大语言模型的推理能力，并在数学问题解决等方面取得显著进步。
来源：https://mp.weixin.qq.com/s/xH86_m71lZnSVMM7q_jzXw