周大 发表于 2024-11-28 14:44:57

Adobe提出多模态大模型高效剪枝方案YOPO

Adobe与罗切斯特大学合作，研究多模态大模型的冗余计算，提出YOPO剪枝方案。该方案使LLaVA-1.5只需12%的计算量即可保持原性能，且适用于Qwen2-VL和InternVL-2.0。研究团队通过邻域感知视觉注意力、非活跃注意力头剪枝等方法，大幅减少了计算开销，同时保留了模型性能。相关代码和模型已公开。
来源：https://mp.weixin.qq.com/s/HMikPAHhUrkJaKX9Ht9v0g
页: [1]
查看完整版本: Adobe提出多模态大模型高效剪枝方案YOPO