NoRM算法突破LoRA微调性能瓶颈

复旦大学、上海交通大学与上海人工智能实验室联合提出NoRM算法，解决LoRA微调中因幻觉噪声导致的性能瓶颈。NoRM通过SVD分解提取主成分，动态决定保留参数数量，在指令微调、数学推理和代码生成任务中显著优于LoRA及其他方法，同时减少幻觉并增强泛化能力。
来源：https://mp.weixin.qq.com/s/Vw14xVDCnLyqTtRWgmZkIA