零阶优化器微调大模型，大幅降低内存

一项由多校联合研究的项目揭示了零阶优化器在大模型微调中的潜力，提供了一种避免反向传播、降低显存使用的新方法。在详尽的基准测试中，ZO-Adam和混合优化策略展现出了优异的性能和内存效率。这项工作不仅推动了大模型训练的效率，也为资源有限的环境提供了可能，有望促进AI研究的普及。
来源：https://mp.weixin.qq.com/s/Z4MVgaCVbKko6gvX-VlVQQ