扩散模型低位量化突破！有效扩散量化的极限推向2-4位，W2A4位宽下FID降低58%，超越SOTA方法

研究人员提出了一种极低位差分量化的混合精度量化方法MPQ-DM，通过离群值驱动的混合量化（OMD）和时间平滑关系蒸馏（TRD），解决了扩散模型在极低比特宽度下的性能下降问题。实验结果表明，在W2A4设置下，MPQ-DM的FID较基线降低了58%，且在多个数据集上的表现优于其他SOTA量化方法。该方法有效降低了扩散模型的计算成本，提升了其在资源受限场景中的应用潜力。
来源：https://mp.weixin.qq.com/s/-owJ4a3Gl8gyNhDsDNWLug