Coconut：在潜在空间中提升 LLM 推理能力的新方法

研究人员提出了一种新的推理范式——Coconut（连续思维链），通过在潜在空间中进行推理，提高了大语言模型（LLM）的推理能力。与传统的基于语言的思维链（CoT）相比，Coconut通过直接使用隐藏状态作为输入嵌入，实现了端到端优化。实验结果显示，Coconut在数学推理（GSM8k）和逻辑推理（ProntoQA和ProsQA）任务中表现优异，特别是在需要大量规划的复杂任务中，其性能显著优于传统方法。
来源：https://mp.weixin.qq.com/s/cqh3pCLMFJgSVpF0nNgt6w