北大团队提出LIFT：将长上下文知识注入模型参数，提升大模型长文本能力

北京大学人工智能研究院团队提出了一种新框架LIFT（Long Input Fine-Tuning），用于增强大语言模型的长上下文理解能力。LIFT通过高效微调模型参数，将长文本知识存储在模型参数中，而非外部数据库或上下文窗口，从而实现知识内化。实验表明，LIFT显著提升了多个短上下文模型在长依赖问答和摘要生成等任务上的表现，例如Llama 3在长依赖问答任务中的正确率从15.44%提升至29.97%。然而，LIFT在精确信息提取任务上仍有不足，且辅助任务设计需进一步优化，未来研究方向包括更通用的辅助任务设计及更好的适配器开发。
来源：https://mp.weixin.qq.com/s/ONMw5t-veEDAgSmwnfSBWA