CSR框架革新多模态学习,提升模型性能与准确性
针对多模态大模型在模态对齐中出现的幻觉和感知问题,科研团队提出了Calibrated Self-Rewarding(CSR)框架。该框架利用模型自身输出构建偏好数据,结合视觉约束,提供更准确的学习路径,从而避免依赖可能存在问题的外部数据。实验表明,CSR不仅优于传统的偏好学习方法,还能在多轮迭代中提升模型性能,减少幻觉错误。来源:https://mp.weixin.qq.com/s/yrzBdDhxv5AkSZMQzuHc8g
页:
[1]