子空间微调：PEFT新突破，0.02%参数微调媲美全面微调

上海交通大学团队针对高效微调（PEFT）领域理论深度不足的问题，开发出子空间微调框架，首次系统性地分析并统一了各类PEFT方法。通过深入探讨子空间的重构与扩展，研究者揭示了不同方法性能差异的数学原理，基于此理论，提出的新PEFT方法在仅微调0.02%参数时便能达到接近全面微调的效果。此外，MPC框架有效提升现有PEFT算法的性能和稳定性，无需额外训练参数。
来源：https://mp.weixin.qq.com/s/J_e_7svrpDuxxefes-s7Xw