IR-QLoRA：破解大模型量化后性能退化

为解决大语言模型在量化后性能退化的问题，ETH、北航和字节的研究团队提出IR-QLoRA算法，通过信息校准量化和弹性连接技术，有效提升了量化模型的精度，尤其在2-4位宽下仍能保持接近16位模型的性能。实验结果显示，IR-QLoRA在多个模型和基准测试中表现出色，且不增加显著的存储和训练成本，为资源有限的环境提供了更好的大模型部署方案。
来源：https://mp.weixin.qq.com/s/tX6P0U5g9vNDIq2qP7IgCA