周大 发表于 2024-5-26 15:37:45

傅立叶微调：高效优化大型模型的新方法

香港科技大学（广州）的研究团队发表了一篇关于大模型微调的新论文，提出了“傅立叶微调”方法，该方法利用傅立叶变换大幅减少训练参数，同时保持或提高模型性能。在多项任务的实验中，傅立叶微调展现出优于现有技术LoRA的效率，且所需参数量显著减少，为大规模模型的优化提供了新思路。
来源：https://mp.weixin.qq.com/s/jaYeIfByJaWU5-4jBmnrzQ
页: [1]
查看完整版本: 傅立叶微调：高效优化大型模型的新方法