细粒度对齐无需仔细标注了！淘天提出视觉锚定奖励，自我校准实现多模态对齐

淘天集团未来生活实验室针对视觉大模型的幻觉问题，提出令牌级偏好对齐方法（TPO）。该方法通过捕捉图像加噪时生成概率变化来评估视觉锚定程度，首次实现了自动校准奖励且无需人工细粒度标注。实验表明，TPO在LLaVA-1.5模型上有效缓解了幻觉现象，尤其在基于反事实图片问答任务中表现突出，显著提升了模型依赖视觉信息的能力，为解决多模态幻觉问题提供了新思路。
来源：https://mp.weixin.qq.com/s/timFPyN3JHf5nWeZwrRRUw