Qwen3低比特量化性能评估研究

来自北航、西电和苏黎世联邦理工学院的研究团队对Qwen3进行了首次系统性量化评估，测试了包括GPTQ、AWQ在内的5种后训练量化方法，覆盖1至8比特位宽。结果显示，Qwen3在较高位宽（4比特及以上）下性能稳定，但低比特量化（3比特及以下）时性能明显下降，尤其在复杂推理任务中表现不佳。与LLaMA3相比，Qwen3在低比特量化下性能下降更为显著，这可能与其预训练过程中冗余较少有关。研究指出，当前量化技术需进一步改进，以更好地平衡模型压缩与性能保留，推动大型语言模型的实际应用。
来源：https://mp.weixin.qq.com/s/L9-w3ngZvo1I7zIqbHhD6w