周大 发表于 2024-4-23 19:54:18

BAdam算法优化大语言模型训练

香港中文大学（深圳）研究团队提出BAdam算法，算法大幅减少内存开销，使得在RTX 3090 24GB显存的显卡上能够高效微调7B参数大型语言模型。该算法具有快速收敛速率和短迭代时间等特点。
来源：https://mp.weixin.qq.com/s/4MPC-ztzDmyZTjC3wCym1w
页: [1]
查看完整版本: BAdam算法优化大语言模型训练