喂了几个月的垃圾推文，大模型得了「脑腐」，这病还治不好
一项由德克萨斯A&M大学等机构开展的研究发现，持续用低质量、高互动性的社交媒体文本训练大语言模型，会导致其推理能力下降23%、长期记忆下降30%，并表现出更高水平的“黑暗人格特质”。实验显示，随着垃圾数据比例上升，模型在ARC-Challenge等任务上的性能显著下滑，且该退化难以通过后续高质量训练完全修复。研究提出“LLM脑腐”概念，强调数据质量是模型认知衰退的因果因素，呼吁重视训练数据的“认知卫生”，并建议对部署模型实施常规认知健康评估。来源：https://mp.weixin.qq.com/s/7UDudFAivb80jx15tuf6UA
页:
[1]