腾讯AI Lab联合CMU推出VScan技术：视觉语言模型推理加速2.9倍，性能无损

** 随着多图像、长视频等复杂视觉输入增多，大型视觉语言模型（LVLM）面临视觉Token数量激增带来的推理成本飙升问题。为此，腾讯AI Lab与CMU联合提出VScan，采用两阶段视觉Token筛选机制，在不影响性能前提下实现最高2.91倍的推理加速。该方案无需修改模型结构，兼容FlashAttention，适用于LLaVA、Qwen2.5-VL等多种主流模型。实验显示，即使将视觉Token压缩至原规模的11%-64%，VScan仍能保持97%以上的准确率，显著优于现有方法。其双阶段剪枝策略兼顾编码阶段的全局语义与局部细节，并在解码中间层精准剔除冗余信息，有效缓解自注意力机制带来的算力瓶颈。目前，VScan已开源，为资源受限环境下的多模态部署提供了轻量、通用的新选择。
来源：https://mp.weixin.qq.com/s/tb8vndzH7LHJMKc3jCmF8A