周大 发表于 2024-11-29 15:07:49

Delta-CoMe：80G GPU加载50个7B模型，性能几乎无损

清华大学NLP实验室等团队提出Delta-CoMe技术，通过低秩分解和低比特量化，大幅降低模型存储和部署成本。80G的A100 GPU可加载50个7B模型，节省显存约8倍，且在复杂任务上性能几乎无损。推理速度提升近3倍，支持多精度Backbone，为多任务处理和模型部署提供了新思路。
来源：https://mp.weixin.qq.com/s/gCahIdvAt_6J6ttzn5GOkg
页: [1]
查看完整版本: Delta-CoMe：80G GPU加载50个7B模型，性能几乎无损