CFT方法显著提升大模型推理能力

CMU等机构提出「批判性微调」（CFT）方法，在50K样本上训练效果优于200万+样本的强化学习。CFT让模型学会批判错误响应，显著提升推理能力，准确率高于SFT 4-10个百分点，且训练效率更高。实验显示，Qwen2.5-Math-7B-CFT性能超越多个大参数量模型，计算成本大幅降低。尽管存在部分局限性，如部分批评意见有误、无法自我批评等，但CFT展示了更高的可行性和经济性。
来源：https://mp.weixin.qq.com/s/l1DdkoHp36g05dRm2a3gDg