BAdam算法优化大语言模型训练

香港中文大学（深圳）研究团队提出BAdam算法，算法大幅减少内存开销，使得在RTX 3090 24GB显存的显卡上能够高效微调7B参数大型语言模型。该算法具有快速收敛速率和短迭代时间等特点。
来源：https://mp.weixin.qq.com/s/4MPC-ztzDmyZTjC3wCym1w