通用LLM压缩算法，居然藏视频编码里！2.5bit实现4bit性能，硬件无缝支持
研究团队提出LLM.265方法，发现现成的视频编解码硬件可用于高效压缩大模型中的各类张量，压缩效率优于许多专用AI方案。该方法利用视频编码器的灵活码率控制、多张量兼容性及成熟硬件支持，在权重压缩和训练通信中显著降低比特使用，例如将权重压缩从4bit降至2.5bit且性能几乎无损，训练通信量缩减2.5倍。实验验证其在多种场景下的有效性，为缓解大模型内存与带宽瓶颈提供了新思路。未来可探索专用张量编码器设计或与现有压缩流水线融合，提升系统整体效率。来源：https://mp.weixin.qq.com/s/3XQlpALp_vKh3EbgnDTafw
页:
[1]