Adobe提出多模态大模型高效剪枝方案YOPO

[复制链接]
周大 发表于 2024-11-28 14:44:57 | 显示全部楼层 |阅读模式
Adobe与罗切斯特大学合作,研究多模态大模型的冗余计算,提出YOPO剪枝方案。该方案使LLaVA-1.5只需12%的计算量即可保持原性能,且适用于Qwen2-VL和InternVL-2.0。研究团队通过邻域感知视觉注意力、非活跃注意力头剪枝等方法,大幅减少了计算开销,同时保留了模型性能。相关代码和模型已公开。
来源:https://mp.weixin.qq.com/s/HMikPAHhUrkJaKX9Ht9v0g

学员登陆|Archiver|手机版|靠浦网络|靠浦ai课堂 ( 鄂ICP备17024134号-3 )

GMT+8, 2024-12-24 11:01 , Processed in 0.267277 second(s), 23 queries .

Powered by Discuz! X3.5

© 2001-2024 Discuz! Team.

快速回复 返回顶部 返回列表