量化能让大模型“恢复记忆”，删掉的隐私版权内容全回来了，SU哈佛亚马逊最新研究引热议
一项来自宾夕法尼亚州立大学、哈佛大学和亚马逊的研究发现，4-bit量化可部分或完全恢复大模型的“遗忘”知识。研究显示，量化过程中模型参数的微小变化可能导致量化后的模型权重与原始模型相同，从而使遗忘知识重新显现。实验表明，4-bit量化后遗忘知识的恢复率从21%升至83%。为此，研究人员提出了SURE框架，通过构建模块级显著性图来指导遗忘过程，减少量化后知识恢复的风险。来源：https://mp.weixin.qq.com/s/TXSm3ikvkt8qhDuzJPQQfA
页:
[1]