华为中科大联创大模型低比特量化算法，1‰数据实现昇腾无损压缩7倍

针对大模型参数规模庞大、部署成本高昂的问题，华为与中科大联合提出CBQ（Cross-Block Quantization）新方案。该方案仅需0.1%的训练数据即可实现7倍压缩率，并保留99%的浮点模型性能。CBQ通过跨块依赖机制、自适应LoRA-Rounding技术和粗到细预处理策略，有效解决了低比特量化时性能下降的问题。实验表明，CBQ在华为盘古大模型及多个开源模型上表现优异，在多种量化设置下性能优于现有方法。目前，CBQ已加入昇腾模型压缩工具包ModelSlim，助力大模型在国产算力上的高效部署。
来源：https://mp.weixin.qq.com/s/ZC0MgvEhlSfZzOV0dRiIsQ