HydraLoRA：非对称LoRA架构提升多任务性能

来自澳门大学、德克萨斯大学和剑桥大学的研究者提出了一种新的非对称LoRA架构：HydraLoRA，旨在解决大型语言模型（LLMs）在适应新任务时面临的计算资源消耗问题。HydraLoRA通过共享A矩阵和多个独立B矩阵，避免任务间干扰，提高性能。实验结果显示，HydraLoRA在多个基准测试任务中优于现有PEFT方法，尤其在多任务和复杂领域表现突出。
来源：https://mp.weixin.qq.com/s/M03cU4KSWXWVfNviUbn4yQ