周大 发表于 2024-6-1 15:59:34

MoRA：打破LoRA束缚，引领大模型高效微调

北京航空航天大学近日推出MoRA，一项创新的参数高效微调技术，旨在超越当前热门的LoRA。MoRA利用高阶方阵更新，打破LoRA的低秩限制，提高了模型的学习和记忆能力。在多项实验中，MoRA在记忆任务、微调场景及从头训练中均优于LoRA，显示出强大的性能和潜力，为大模型微调提供了新路径。
来源：https://mp.weixin.qq.com/s/w4lgx6EojEk1OoJ29AYCtA
页: [1]
查看完整版本: MoRA：打破LoRA束缚，引领大模型高效微调