微软发布首个原生1bit大模型BitNet

微软亚洲研究院推出首个开源原生1bit大模型BitNet b1.58 2B4T，参数规模达20亿，但通过{-1, 0, +1}三值量化技术将模型大小压缩至0.4GB。该模型在4万亿Token语料库上训练，性能与全精度模型相当，并在11个基准测试中表现出色。其独特的推理框架支持CPU和GPU高效运行，大幅降低内存占用、能耗和解码延迟。这一成果为资源受限环境下的端侧AI应用提供了新思路，展现了轻量化大模型的巨大潜力。
来源：https://mp.weixin.qq.com/s/G9ZbMnBVbeH1m45HY2JIKA