超越DeepSeek-R1关键RL算法GRPO，CMU「元强化微调」新范式登场

CMU和HuggingFace的研究人员提出了一种新的元强化微调（MRT）方法，用于优化大语言模型（LLM）的测试时计算。MRT通过最小化累积悔值来平衡探索与利用，使LLM在处理复杂问题时更加高效。实验表明，MRT不仅在多个基准测试中超越了现有的结果奖励强化学习方法，还显著提高了token效率。例如，在AIME 2024数据集上，MRT的准确率比基础模型高出5%，同时所需的token数量减少了5倍。这为未来LLM的发展提供了重要参考。
来源：https://mp.weixin.qq.com/s/forC9l_zd3a_p7HemHmggw