北邮团队揭示大模型长链推理“越反思越错”现象，元认知偏差致幻觉加剧

北京邮电大学研究团队通过构建基于RFC协议的受控知识域，首次系统性揭示了大模型在长链推理中幻觉演化的机制。实验显示，当推理链从3步延长至50步以上时，幻觉率暴增超10倍，且反思机制未能纠错，反而可能强化错误。研究还发现，外部错误常引发模型内部知识编造，现有7种主流检测方法中，最优者耗时2小时/样本，准确率仍不足79%。正向干预结果显示，越早纠正错误越能有效遏制幻觉扩散。该研究指出当前模型缺乏有效应对幻觉的能力，尤其在医疗、金融等高风险领域，亟需更精细的安全评估体系。
来源：https://mp.weixin.qq.com/s/3LzMP_sDDALh6q91fXeQzQ