比LoRA更高效!上交大&哈佛推出新微调框架,瞄准特定任务方向

[复制链接]
周大 发表于 2024-9-16 14:50:03 | 显示全部楼层 |阅读模式
上海交通大学和哈佛大学研究人员提出LoRA-Dash,一种高效模型微调方法。该方法在参数量大幅减少的情况下,效果与LoRA相当。通过严格定义TSD并分析其性质,LoRA-Dash进一步释放了TSD在下游任务中的潜力。实验显示,LoRA-Dash在多个任务上均优于LoRA。
来源:https://mp.weixin.qq.com/s/4S8ORbMpwcB_iXDbxgrHEw

Archiver|手机版|靠浦网络|靠浦ai课堂 ( 鄂ICP备17024134号-3 )

GMT+8, 2025-5-18 06:18 , Processed in 0.289608 second(s), 24 queries .

Powered by Discuz! X3.5

© 2001-2025 Discuz! Team.

快速回复 返回顶部 返回列表