微软开源“原生1bit”三进制LLM：2B参数，0.4GB内存/单CPU就能跑，性能与同规模全精度开源模型相当

微软推出首个开源“原生1bit”LLM BitNet b1.58 2B4T，采用三进制权重存储，仅需0.4GB内存，单CPU即可实现与人类阅读速度相当的解码效率。该模型在GSM8K和WinoGrande等任务中表现优异，具备原生训练优势，避免性能衰减。基于Transformer架构，通过absmean量化方案及三阶段训练策略，BitNet在低精度环境下展现卓越性能，同时微软还开源了专用推理库以支持高效部署。
来源：https://mp.weixin.qq.com/s/CpHcrSpzoDYcagknX9oe5g