港大北航等1bit大模型引热议，BiLLM技术：压缩大模型提升AI效率

港大、苏黎世理工与北航联合研发的BiLLM技术，成功将大型语言模型的参数压缩至1.1bit，解决了AI模型计算内存挑战。此创新方法在保持性能的同时，可将模型部署到移动设备，已在OPT和Llama模型上展现出优越的量化效果，推动了无训练量化的界限。该成果被ICML 2024接纳，引发业界对大模型优化的新讨论。
来源：https://mp.weixin.qq.com/s/S9tVLHcOokBy3Kkw1Jv9iw