清华挖出「幻觉」的罪魁祸首：预训练产生的0.1%神经元

清华大学孙茂松团队发现，大型语言模型中不足0.1%的稀疏神经元（H-神经元）可有效预测幻觉，且其与模型“过度顺从”行为存在因果关系。研究表明，这些神经元起源于预训练阶段，在多个模型和跨领域任务中均具泛化检测能力，准确率提升超10个百分点。干预实验显示，调节H-神经元激活可改变模型对错误前提或有害指令的响应倾向，揭示了幻觉的深层机制，为提升大模型可靠性提供了新方向。
来源：https://mp.weixin.qq.com/s/Wu-MpL89e9EtZH6-8u3A1A