LLaMA3量化后性能退化

[复制链接]
周大 发表于 2024-4-27 18:44:44 | 显示全部楼层 |阅读模式
LLaMA3模型在15T Token数据上进行了超大规模预训练,性能有显著提升。不过,实证研究显示在低比特量化下,其性能会有所退化,尤其在超低位宽情况下表现较差。这项研究还探讨了各种量化方法的表现以及LoRA微调量化的影响。
来源:https://mp.weixin.qq.com/s/ou-mX9AoQTX7tWL6CWXiaQ

学员登陆|Archiver|手机版|靠浦网络|靠浦ai课堂 ( 鄂ICP备17024134号-3 )

GMT+8, 2024-12-23 21:43 , Processed in 0.270022 second(s), 23 queries .

Powered by Discuz! X3.5

© 2001-2024 Discuz! Team.

快速回复 返回顶部 返回列表