周大 发表于 2024-12-5 14:13:47

1-bit大模型还能再突破！新一代BitNet架构启用4位激活值

BitNet团队发布了新一代架构BitNet a4.8，支持1 bit大模型的4位激活值和3 bit KV缓存。通过混合量化和稀疏化策略，有效减轻量化误差。实验显示，BitNet a4.8在相同训练成本下性能与前代相当，但推理速度更快，仅激活55%的参数，进一步提升大规模LLM部署和推理效率。
来源：https://mp.weixin.qq.com/s/aw3iXwNVypyrq7jnAgGoug
页: [1]
查看完整版本: 1-bit大模型还能再突破！新一代BitNet架构启用4位激活值