大模型推理靠程序性知识而非检索

伦敦大学学院等机构的研究揭示，大语言模型（LLM）的“推理”并非基于参数知识的检索，而是通过综合预训练数据中的程序性知识进行类似推理。研究分析了500万预训练文档对两个不同规模的LLM（7B和35B）的影响，发现对于事实问题，答案在高影响力文档中出现频率较高；而对于推理问题，答案几乎不在高影响力文档中出现。这意味着未来的AI设计可以更注重程序性知识的多样性，而非覆盖所有具体案例。
来源：https://mp.weixin.qq.com/s/2_ccqg23n05iGK3zUH5KMg