人大等高校联合研究揭秘：大模型“思考词”现信息高峰，可提推理性能

来自中国人民大学等机构的研究团队首次通过信息论方法揭示了大模型推理过程中存在“互信息峰值”现象，即在生成“思考词汇”（如“Hmm”、“Therefore”）时，模型内部表征与正确答案之间的互信息显著上升，标志着真正的“信息高峰”。实验表明，抑制这些词汇会显著影响模型在GSM8K、MATH等数学推理任务上的表现。基于此发现，研究者提出两种无需训练的新方法——“表征循环”（RR）和“测试时扩展”（TTTS），有效提升了模型推理性能，为理解与优化大模型推理机制提供了新思路。
来源：https://mp.weixin.qq.com/s/hVjSWtT1FXk2QvZNXdrD3g