微软1bit LLM新研究：原生4bit激活值量化，可充分利用新一代GPU对4bit计算的原生支持

微软推出BitNet v2框架，为1 bit大语言模型（LLM）实现4 bit激活值量化，充分利用新一代GPU的4 bit计算能力。通过引入H-BitLinear模块，解决中间状态激活值异常值问题，显著提升计算效率。实验表明，BitNet v2在不同模型规模上性能优于其他方法，且可从8 bit激活版本微调训练，性能几乎无损失。
来源：https://mp.weixin.qq.com/s/HlSDd3Tl5lK4sHSm25z9XQ