微软新研究：60%参数即可达全激活模型性能，降低AI推理成本

微软亚洲研究院的最新研究提出了一种名为Q-Sparse的方法，通过神经元级别的稀疏化，仅用60%的模型参数就能达到全激活模型的性能，从而大幅降低推理成本。Q-Sparse利用Top-K函数实现稀疏化，并与量化技术兼容，适用于各种训练场景。实验结果显示，该方法在不同任务上表现优秀，且研究还发现了一种新的“Scaling Law”，为大规模模型的推理优化提供了理论依据。
来源：https://mp.weixin.qq.com/s/hBC9TcYrHMGVG9VgogLqWw