大模型「越想越错」?人大&腾讯团队用信息论揭示:什么时候该想、什么时候别想
来自中国人民大学、腾讯天衍实验室等机构的研究团队发现,当前大模型普遍存在“过度推理”现象,长推理链不仅增加计算成本,还可能降低准确性。基于信息论,团队提出Adaptive Think机制,通过熵衡量模型置信度,实现推理过程的自适应终止。实验显示,在GSM8K、AIME2025等多个基准上,该方法在保持甚至提升准确率的同时,token消耗减少40%–68.25%,部分任务高达80%。研究揭示了推理效率的本质问题,并提供无需训练即可部署的有效解决方案,论文已被NeurIPS 2025选为Spotlight。来源:https://mp.weixin.qq.com/s/xpiLio0h8otnWftG8DRt-w
页:
[1]