RAG真能提升LLM推理能力？人大最新研究：数据有噪声，RAG性能不升反降

中国人民大学的研究发现，RAG（检索增强生成）可以通过引入外部文档来提升LLM的推理能力，但这种提升不是无限的，并且会受到文档噪声的影响。研究表明，RAG可以减少推理所需的层数，提高LLM的效率，但文档中的噪声信息会限制其效果，甚至导致推理能力下降。通过DPrompt tuning方法，可以在一定程度上缓解噪声问题，提升LLM在面对噪声时的性能。
来源：https://mp.weixin.qq.com/s/msY7pEqSBSfcMeZz-UNTug