Scaling Law或将终结？哈佛MIT预警：低精度量化已无路可走，重磅研究掀翻AI圈

哈佛、斯坦福和MIT的研究人员首次提出了「精度感知」scaling law，揭示了精度、参数规模和数据量之间的统一关系。研究表明，随着数据量的增加，模型对量化精度的要求也随之提高，预示着AI领域低精度加速时代即将结束。低精度训练会降低模型的「有效参数量」，影响性能。研究人员通过465次以上的预训练实验，验证了这一理论框架，预测不同精度下训练和推理时的性能降级。艾伦研究所科学家Tim Dettmers认为这是很长时间以来最重要的论文之一，指出我们正在接近「量化」的极限。研究发现，训练数据越多，量化带来的性能损失越大，特别是对于大型模型。未来可能需要超过8位的精度来训练许多模型。
来源：https://mp.weixin.qq.com/s/js_L3X0B-CSRorVFWNxNjg