NeurIPS 2024 | 可信大模型新挑战：噪声思维链提示下的鲁棒推理，准确率直降40%

大语言模型（LLM）在复杂推理任务上表现出色，但在应对噪声输入时存在明显不足。研究团队提出了噪声思维链（Noisy Rationales）问题，并构建了NoRa数据集，用于评估LLM在噪声思维链下的鲁棒性。实验结果表明，现有的去噪方法在噪声思维链下表现不佳，GPT-3.5-Turbo的准确率最多下降40.4%。为此，研究团队提出了一种新的去噪推理方法CD-CoT，通过对比有噪和干净的思维链，显著提升了模型的鲁棒性。相关论文已发表于NeurIPS 2024。
来源：https://mp.weixin.qq.com/s/7igsb3yOW5UYd_Ox47Q0wA