西安交通大学提出零空间投影方法Nullu，有效消除视觉语言模型物体幻觉且不增加推理成本
西安交通大学研究团队提出了一种名为Nullu的新方法，用于解决大型视觉语言模型（LVLMs）中的“物体幻觉”问题，即模型生成图像中不存在的物体描述。该方法通过识别“幻觉子空间”（HalluSpace），对模型权重进行零空间投影，从而去除由大语言模型（LLM）偏好先验引发的幻觉。实验显示，Nullu无需训练、部署简便，且不增加推理开销，在LLaVA-1.5等多个模型及CHAIR、POPE等多个数据集上均表现出色，有效缓解幻觉问题并在CVPR 2025发表。理论分析还揭示了其与直接偏好优化（DPO）的内在联系。来源：https://mp.weixin.qq.com/s/i0dkTUU-8gT3oTBJ2f94mA
页:
[1]