长序列挑战：LLMs理解能力触及天花板

滑铁卢大学的研究揭示了大型语言模型（LLMs）在处理长序列文本时的局限性。尽管一些LLMs在较短文本和简单任务中表现出色，但在LongICLBench基准测试中，当面临大量标签和极长文本时，其性能急剧下降。在最复杂的数据集Discovery上，所有模型都无法准确理解174个标签的上下文，准确率归零。这表明当前的LLMs在长序列理解和推理方面仍有重大挑战。
来源：https://mp.weixin.qq.com/s/NI4juWbm9jOjhK2hCM8KQA