PSA-VLM：提升视觉语言模型的安全性能

淘天集团未来生活实验室联合多所高校提出了PSA-VLM，一种基于概念瓶颈模型的视觉语言模型安全对齐方法。该方法通过引入显式和隐式概念安全头及多模态协同的安全模块，显著提升了VLM应对视觉安全风险的能力，同时保持了模型的通用任务能力。实验结果显示，PSA-VLM在有害政治、NSFW内容和网络欺凌检测等方面表现优异，并在多个基准测试中取得了卓越成绩。这一创新不仅增强了模型的安全性和可解释性，还为多模态模型在高风险领域的应用提供了可靠保障。
来源：https://mp.weixin.qq.com/s/4AkMFVTfYQ8Ut4LkSfPyPQ