首篇潜空间推理综述！模型思考不必依赖Token，带宽暴增2700+倍

潜空间推理这一新兴推理范式的最新进展，提出了一种基于机械可解释性的统一框架。潜空间推理采用潜式思维链（Latent CoT），以内连续形式进行推理，相较传统显式CoT带宽提升达2700多倍，且不受限于词汇表，表达能力更强。其主要方法包括垂直循环和水平循环，分别通过扩展计算深度或时间维度增强推理能力。研究表明，层深度是影响推理能力的关键因素，浅层处理基础信息，中间层为推理核心，深层负责决策。此外，注意力机制在信息流动中起关键作用，且存在跨层反馈。综述还探讨了“无限深度推理”概念，设想通过扩散模型或梯度更新实现动态计算资源分配，推动未来更具整合性的研究方向。
来源：https://mp.weixin.qq.com/s/no5Jwyob3TjbqMNcdGaneQ