动态压缩CoT推理新方法LightThinker来了

随着大语言模型在复杂推理任务中的广泛应用，其高资源消耗问题日益突出。浙江大学与蚂蚁集团等机构提出 LightThinker，通过动态压缩中间推理步骤为摘要信息，显著减少上下文长度。实验显示，该方法在 Qwen 模型上将峰值内存使用减少 70%，推理时间缩短 26%，并在 Llama 上保持准确性的同时提升效率。尽管在数学任务中存在信息丢失风险，LightThinker 仍为高效推理提供了新思路。
来源：https://mp.weixin.qq.com/s/LLCQE2keVFwx0280p1RxOg