DeepMind研究揭示大模型推理缺陷：易被误导且越大越难纠正

DeepMind最新研究表明，大语言模型在推理过程中易受无关或错误信息干扰，且难以恢复。研究将无效思考分为无信息、无关、误导和错误四类，发现即便是70B参数的大模型，对错误内容的识别准确率也不足30%。更令人意外的是，模型越大反而越难恢复，呈现出“反规模效应”。插入仅10%长度的无关内容即可大幅削弱其表现，尤其在数学、科学和编程任务中更为明显。尽管引入反思提示能提升恢复能力，但效果仍有限。此外，黑客可通过“思考过程污染”攻击模型，大模型比小模型更易被操控输出有害内容。这项研究揭示了当前推理模型在元认知与纠错能力上的不足，也引发对其真实推理能力的质疑，可能只是基于提示词模板的表面匹配，而非真正理解问题逻辑。
来源：https://mp.weixin.qq.com/s/93J02V70zP_mO-IdFCONMA