70倍极致压缩！大模型的检查点再多也不怕

华为诺亚实验室的研究人员开发了一种名为ExCP的技术，该技术能够无损压缩模型检查点70倍，从而显著减少大模型训练中的存储成本。ExCP利用了检查点残差信息的稀疏性和将优化器与权重联合压缩的方法。实验表明，ExCP在大语言模型和视觉模型上均取得了良好的压缩效果，同时保持了模型性能。
来源：https://mp.weixin.qq.com/s/BvtzqmTqZijf45963UZYFQ