参数少80%，效果仍超LoRA！上交大&上海AI Lab推出高效微调框架FLoRA
为了解决低秩微调方法在处理高维度张量时的局限性，上海交通大学和上海AI Lab的科研团队提出了FLoRA方法。FLoRA通过Tucker分解保留参数结构，能在减少80%参数量的同时，保持与LoRA相当的性能，尤其在视觉任务上展现出显著优势。此外，FLoRA在语言和多模态任务上也表现出色，有望成为高效微调大模型的新工具。来源：https://mp.weixin.qq.com/s/x2NID0EsUiNLC5RJ01s-wg
页:
[1]