中科大等团队破解大模型灾难性遗忘，函数向量对齐技术，让大模型持续学习不“失忆”
中国科学技术大学等联合团队研究发现，大语言模型的灾难性遗忘源于功能激活的变化而非简单覆盖已有函数。团队基于函数向量构建分析框架，揭示遗忘机制，并提出函数向量引导的训练方法（FVG），通过限制向量变化减少遗忘。实验表明，FVG显著提升模型持续学习能力。相关成果已被ICLR 2025接收，代码已开源。来源：https://mp.weixin.qq.com/s/GdkqppZYPZYDvdwNwS8oEA
页:
[1]