Delta-CoMe:80G GPU加载50个7B模型,性能几乎无损

[复制链接]
周大 发表于 2024-11-29 15:07:49 | 显示全部楼层 |阅读模式
清华大学NLP实验室等团队提出Delta-CoMe技术,通过低秩分解和低比特量化,大幅降低模型存储和部署成本。80G的A100 GPU可加载50个7B模型,节省显存约8倍,且在复杂任务上性能几乎无损。推理速度提升近3倍,支持多精度Backbone,为多任务处理和模型部署提供了新思路。
来源:https://mp.weixin.qq.com/s/gCahIdvAt_6J6ttzn5GOkg

学员登陆|Archiver|手机版|靠浦网络|靠浦ai课堂 ( 鄂ICP备17024134号-3 )

GMT+8, 2024-12-24 10:30 , Processed in 0.267849 second(s), 24 queries .

Powered by Discuz! X3.5

© 2001-2024 Discuz! Team.

快速回复 返回顶部 返回列表