LoRA中到底有多少参数冗余？新研究：砍掉95%都能保持高性能

一项创新研究提出 LoRI 技术，通过大幅减少 LoRA 的可训练参数数量，仍能保持甚至超越现有方法性能。研究团队在多种任务上验证了 LoRI 的有效性，仅需训练 LoRA 参数的 5%（相当于全量微调参数的约 0.05%），即可达到优异效果。LoRI 通过冻结低秩矩阵 A 和稀疏更新矩阵 B，显著降低了计算资源需求，并在多任务处理、适配器合并及持续学习场景中表现出色。实验结果表明，LoRI 在自然语言理解、数学推理、代码生成和安全对齐等任务中均优于其他方法。
来源：https://mp.weixin.qq.com/s/B0pgqJIOqcHKjz3roAVeog