RAG新突破：块状注意力机制实现超低延迟检索增强

RAG技术常用于增强大语言模型的回复可信度，但存在检索多个文档导致推理效率降低的问题。最新研究《Block-Attention for Efficient RAG》提出块状注意力机制，通过减少重复编码，显著提高了RAG模型的推理效率。实验显示，Block-Attention模型与非RAG模型效率相当，且在长文本场景下表现更优，准确率略有提升。
来源：https://mp.weixin.qq.com/s/yv2iIpaJTi4g4nhZG1WLZw