模型压缩到70%，还能保持100%准确率，无损压缩框架DFloat11来了
莱斯大学等机构提出一种名为 DFloat11 的无损压缩框架，能够将大型语言模型（LLMs）压缩至原始大小的 70%，同时保持 100% 的准确性。该方法针对当前 LLMs 中 BFloat16 权重表示的低效问题，通过熵编码技术实现动态长度编码，减少模型规模 30%。实验表明，DFloat11 在 LLaMA、Qwen 等模型上的压缩比稳定在 70%，推理性能显著提升，延迟减少 1.85 至 38.83 倍，并支持更长生成序列。此技术为资源受限环境下的高效推理提供了新解决方案。来源：https://mp.weixin.qq.com/s/1krObzWLaX8CrzUW2OR_kQ
页:
[1]