LLM推理依赖“程序性知识”而非简单检索

UCL等机构研究发现，大型语言模型（LLM）在执行推理任务时，依赖于“程序性知识”，而非简单检索答案。研究显示，LLM通过泛化策略从文档中综合推理步骤，而非直接查找答案。数学问题中，LLM使用程序性知识综合推理步骤，对单个文档的依赖较少。代码在数学推理中起重要作用，预训练数据中包含大量相关文档。尽管如此，苹果的研究指出，部分模型如GPT-4等在推理任务中更像是复杂的模式匹配器。
来源：https://mp.weixin.qq.com/s/ShEThew_5sYksIPxbst3KA