周大 发表于 2024-10-24 14:07:25

DuoAttention：提高大语言模型长上下文推理效率

MIT等机构的研究团队提出DuoAttention框架，通过分离“检索头”和“流式头”优化大语言模型的长上下文处理。该框架显著减少了内存消耗，提高了解码和预填充速度，同时保持了准确率。实验表明，DuoAttention在处理百万级token上下文时表现出色，适用于多轮对话、长文档处理和视觉理解等场景。
来源：https://mp.weixin.qq.com/s/avM4jketPuNGzx-8tZvxIQ
页: [1]
查看完整版本: DuoAttention：提高大语言模型长上下文推理效率