西安交通大学提出零空间投影方法Nullu,有效消除视觉语言模型物体幻觉且不增加推理成本

[复制链接]
周大 发表于 2025-6-27 14:05:55 | 显示全部楼层 |阅读模式
西安交通大学研究团队提出了一种名为Nullu的新方法,用于解决大型视觉语言模型(LVLMs)中的“物体幻觉”问题,即模型生成图像中不存在的物体描述。该方法通过识别“幻觉子空间”(HalluSpace),对模型权重进行零空间投影,从而去除由大语言模型(LLM)偏好先验引发的幻觉。实验显示,Nullu无需训练、部署简便,且不增加推理开销,在LLaVA-1.5等多个模型及CHAIR、POPE等多个数据集上均表现出色,有效缓解幻觉问题并在CVPR 2025发表。理论分析还揭示了其与直接偏好优化(DPO)的内在联系。
来源:https://mp.weixin.qq.com/s/i0dkTUU-8gT3oTBJ2f94mA

Archiver|手机版|靠浦网络|靠浦ai课堂 ( 鄂ICP备17024134号-3 )

GMT+8, 2025-7-6 05:46 , Processed in 0.265620 second(s), 23 queries .

Powered by Discuz! X3.5

© 2001-2025 Discuz! Team.

快速回复 返回顶部 返回列表