Intel Labs使用NAS技术实现大型语言模型高效瘦身

Intel Labs 近日利用神经架构搜索（NAS）技术成功为大型语言模型 LLaMA2-7B 进行瘦身，实现模型大小减半，且在多个任务上保持或提升准确度。通过 InstaTune 和 LINAS 算法，研究团队找到了优于传统压缩方法的子网络架构，解决了过度参数化问题。此外，定点量化处理进一步减小了模型大小，而几乎不影响性能。
来源：https://mp.weixin.qq.com/s/_cKq4a3uM4r6s5P5s9mWaA