LLaMA3量化后性能退化

LLaMA3模型在15T Token数据上进行了超大规模预训练，性能有显著提升。不过，实证研究显示在低比特量化下，其性能会有所退化，尤其在超低位宽情况下表现较差。这项研究还探讨了各种量化方法的表现以及LoRA微调量化的影响。
来源：https://mp.weixin.qq.com/s/ou-mX9AoQTX7tWL6CWXiaQ