无需训练，InfiniRetri：实现LLM无限长文本检索

一项新研究提出方法InfiniRetri，通过利用大语言模型自身的注意力机制，实现了对超长文本（100万+token）的有效检索。该方法无需额外训练，可直接应用于Transformer架构模型，显著降低推理延迟与计算成本。实验表明，在“大海捞针”测试中，InfiniRetri将5亿参数模型的检索准确率从44.6%提升至100%，并在多个基准测试中取得最佳结果。例如，Qwen2-7B-Instruct在HotpotQA任务中的性能提升达288%，表现媲美72B参数模型。这一突破为长文本处理提供了低成本、高效的解决方案，有望改变现有检索增强生成系统的设计思路。
来源：https://mp.weixin.qq.com/s/f03EER1ht9NiIJ9HLt66Ag