Meta提出Dualformer：模仿人类双系统思考的Transformer

Meta FAIR 团队受人类认知理论启发，提出新型 Transformer 架构 Dualformer，可在推理过程中控制快慢模式。实验显示，Dualformer 在迷宫导航、推箱子任务及数学问题解决上均超越基线模型，特别是在生成多样化解答方面表现出色。此外，研究还表明结构化轨迹丢弃技术能够有效提升大规模语言模型在数学问题上的解决能力。
来源：https://mp.weixin.qq.com/s/d-MkVjYjyIInRYLhc_01-A