1万tokens是检验长文本的新基准，超过后18款大模型集体失智

Chroma团队最新研究表明，当大型语言模型（LLMs）处理超过一定长度的上下文（如1万tokens）时，其性能普遍显著下降，准确率降至约50%，且衰减呈现非均匀特征，部分模型在特定token节点出现断崖式下跌。研究通过四项对照实验揭示，输入长度是核心影响因素，语义关联性、干扰信息和文本结构也会加剧性能退化。结果显示，低语义相似度、干扰项增多以及逻辑连贯文本均会导致模型表现恶化，不同模型响应方式各异。该研究为理解LLMs长文本处理局限提供了系统性依据，并提出了优化建议，如明确指令、分段处理等。相关代码已开源。
来源：https://mp.weixin.qq.com/s/cLvbkl2ro7NLE1cafCR03A