大模型“记性差一点”反而更聪明！金鱼损失随机剔除token，让AI不再死记硬背

来自马里兰大学等机构的研究人员提出“金鱼损失”方法，旨在减少大语言模型对训练数据的机械复现。该方法在损失函数中随机剔除部分token，并采用哈希掩码确保每次相同文本掩码一致，从而阻止模型记忆完整序列。实验表明，在LLaMA-2模型上使用金鱼损失后，极端训练场景下模型未记忆任何文章，标准场景下记忆化内容也显著减少，而语言生成能力未受影响。研究强调该方法在不牺牲性能的前提下提升模型泛化能力，但也可能带来计算效率下降的挑战。
来源：https://mp.weixin.qq.com/s/MiQ1AFQZpO7aWWExGlK2fQ