精度与通用性不可兼得，北大华为理论证明低精度下scaling law难以实现

北京大学与华为的研究团队发现，虽然量化技术能提高大语言模型的推理速度，但会显著降低其数学推理能力。研究表明，足够的模型精度是解决基本数学任务的前提。实验结果显示，量化后的模型在多整数相加和整数相乘任务上的表现明显下降，即使增加模型参数量也无法弥补这一缺陷。因此，在实际部署大语言模型时，需平衡效率与性能。
来源：https://mp.weixin.qq.com/s/ToQ5X-pYF8Pq5bHEBGSIhw