低精度只适用于未充分训练的LLM？腾讯提出LLM量化的scaling laws

腾讯AI Lab研究发现，低比特量化仅在未充分训练（通常在1000亿tokens以内）的大语言模型（LLM）上表现出与高精度相当的性能。研究人员量化了超过1500个不同规模和训练程度的开源LLM，推导出低比特量化的scaling laws。研究表明，随着训练深入，低比特量化与高精度间的性能差距显著扩大。QiD（量化引起的退化）成为衡量LLM是否充分训练的新指标。该研究警示学术界重新审视在未充分训练LLM上得出的结论，引发对低比特量化应用前景的担忧。
来源：https://mp.weixin.qq.com/s/mbeWPNw5DktvepXrkVgaBw