LLM为何频频翻车算术题？最新研究追踪单个神经元，「大脑短路」才是根源

最新研究表明，大模型在数学问题上的表现不佳，主要原因是采取启发式算法进行运算，且缺乏对运行逻辑的解释。通过分析大模型中的单个神经元，研究人员发现少数神经元（1.5%）对算术运算有显著影响。消融分析显示，去除特定算术神经元会导致模型运算准确性显著下降。研究还发现，大模型做错算术题的主要原因是缺乏对正确神经元的泛化能力，而非算术神经元数量不足。算术神经元在模型训练早期就已出现，并随训练逐步增强，提高大模型的数学能力可能需要根本性的训练和架构改变。
来源：https://mp.weixin.qq.com/s/DUbb3X8t5u2_GYoecqUkCA