显著超越SFT，o1/DeepSeek-R1背后秘诀也能用于多模态大模型了

上海交通大学等机构推出的Visual-RFT项目，将基于规则奖励的强化学习方法应用于视觉语言大模型，只需10~1000条数据即可显著提升多模态模型性能。通过为细分类、目标检测等视觉任务设计特定规则奖励，该方法突破了传统文本领域的限制，在少样本场景下展现出更强的泛化能力。实验结果显示，与传统监督微调相比，Visual-RFT在开放目标检测、推理定位等多个任务上取得显著性能提升。目前该项目已全面开源。
来源：https://mp.weixin.qq.com/s/dZ_uO959owXEJYk1iwt5Tw