研究显示加句“猫爱睡觉”大模型数学题错误率飙升，DeepSeek、o1等均中招

一项由Collinear AI团队开展的研究发现，在数学题中加入不相关语句（如提及猫的习性）会显著削弱大模型的推理能力，使DeepSeek-R1、OpenAI o1等推理模型的错误率大幅提升，最高可达原来的3倍。实验显示，攻击不仅导致错误增多，还会显著增加回答所消耗的Token数量，影响效率。研究归纳出三种有效攻击方式，并验证其在多种模型和数据集上的攻击效果。研究者强调此类对抗样本揭示了当前LLM在推理任务中的脆弱性，也为未来模型安全性改进提供了新方向。
来源：https://mp.weixin.qq.com/s/qesEHt47UQNdjnryMLHwGA