DuoAttention：提高大语言模型长上下文推理效率

MIT等机构的研究团队提出DuoAttention框架，通过分离“检索头”和“流式头”优化大语言模型的长上下文处理。该框架显著减少了内存消耗，提高了解码和预填充速度，同时保持了准确率。实验表明，DuoAttention在处理百万级token上下文时表现出色，适用于多轮对话、长文档处理和视觉理解等场景。
来源：https://mp.weixin.qq.com/s/avM4jketPuNGzx-8tZvxIQ