大模型工作记忆瓶颈凸显:新旧信息混淆导致准确率对数级暴跌
弗吉尼亚大学与纽约大学研究发现,所有主流大语言模型在处理动态更新的键值对信息时,存在严重检索问题。实验显示,随着干扰项增加,模型准确率呈对数下降,最终完全失效。提示工程和思维链策略未能改善表现,表明问题可能源于模型架构或注意力机制。该研究揭示了LLM在抗干扰能力上的根本局限,对金融、医疗等依赖动态数据的应用具有重要启示,论文已被ICML 2025 Workshop接收。来源:https://mp.weixin.qq.com/s/0mie109HIXLPq-WOu9H-Tw
页:
[1]