周大 发表于 2024-6-18 14:52:53

清华大学：一个简单缩放让大模型利用长上下文能力提升15.2%

清华大学的研究揭示了大型语言模型在处理长上下文时存在的位置偏差问题，主要由Transformer的注意力机制和因果掩码引起。为解决此问题，研究团队提出一种新方法，通过扩展位置隐藏状态来调整模型的注意力分配，从而显著提升了模型在处理长文本任务时的性能，特别是在多文档问答和长序列理解方面。
来源：https://mp.weixin.qq.com/s/86vqhDddAXhAvFYpcFacbg
页: [1]
查看完整版本: 清华大学：一个简单缩放让大模型利用长上下文能力提升15.2%