慢思考准确率反降30%！普林斯顿揭示思维链某些任务上失效的秘密

普林斯顿大学的研究发现，思维链（CoT）方法在某些任务上会显著降低模型表现，如隐式统计学习、面部识别和包含异常的数据分类。例如，GPT-4在zero-shot提示下的准确率为94%，但在CoT提示下降至64.4%。研究指出，人类在深思熟虑或解释思路时也会出现类似表现下降。然而，CoT在自然语言推理等任务中能提升模型性能。该研究强调了大模型与人类的不同约束条件，并建议具体情况具体分析CoT的适用性。
来源：https://mp.weixin.qq.com/s/sFaPB8CxtYj0HIi_5bA74Q