推理模型在MiP问题上的过度思考缺陷

马里兰大学与利哈伊大学的研究揭示，推理模型在处理「缺失前提」（MiP）问题时易陷入过度思考，生成冗长无效的回答。研究发现，推理模型面对MiP问题时生成的回答比一般过度思考多2至4倍token，且缺乏批判性思维能力以果断中止无效推理。相比之下，非推理模型能更快识别信息不足并停止回答。研究人员通过设计专门的MiP问题数据集，分析了不同类型语言模型的表现，指出过度思考现象可能源于强化学习阶段长度约束不足及奖励破解，并具有传播性。这一研究凸显了当前AI推理能力的真实边界及其改进方向。
来源：https://mp.weixin.qq.com/s/t5mVHRrWG4Y6pEPA1GJ0jg