视觉语言模型易受攻击？西安交大等提出基于扩散模型的对抗样本生成新方法

西安交通大学等机构提出AdvDiffVLM，针对大型视觉语言模型（VLMs）的高效对抗样本生成方法。该方法通过扩散模型和得分匹配，结合自适应集成梯度估计（AEGE）及GradCAM引导的掩模生成（GCMG），解决了现有方法成本高、迁移性低的问题。实验表明，与基准方法相比，AdvDiffVLM生成对抗样本的速度提高了5至10倍，同时保持了更高的迁移性和图像质量，成功攻击包括GPT-4V在内的多种商用VLM。
来源：https://mp.weixin.qq.com/s/1-H5yKXNm8S_S-1Pw6zQMg