VisVM提升多模态视觉模型图像描述质量

马里兰大学和微软的研究团队提出视觉价值模型（VisVM），通过“推理时搜索”提高多模态视觉语言模型的图像描述质量并减少幻觉。VisVM基于CLIP模型计算句子与图像相似度作为奖励信号，并采用时序差分学习训练。实验显示，VisVM生成的图像描述更细致、幻觉更少，在多个基准测试中表现优异。随着搜索步骤增加，VisVM性能提升显著，计算效率更高。此外，VisVM引导的自我训练可显著提升VLM性能。
来源：https://mp.weixin.qq.com/s/CVyy9N9bPIjv8k6rs6h8Nw