极低内存消耗：用SGD的内存成本实现AdamW的优化性能

UT Austin和Meta AI联合开发的APOLLO方法，首次实现了以SGD级别的内存成本训练大语言模型（LLM），同时保持了AdamW的优化性能。该方法通过结构化更新和低秩空间辅助优化器状态等创新技术，在8块A100 GPU上实现了3倍预训练加速，并能在12GB显存的消费级GPU上完成7B模型预训练。实验表明，APOLLO不仅降低了内存消耗，还显著提升了训练速度，为资源受限团队提供了高效的大模型训练解决方案。
来源：https://mp.weixin.qq.com/s/YCL_tol6hpeEHWWxgPBYzQ