MMDU数据集推动LVLMs多图多轮对话能力新突破

为解决大型视觉语言模型在复杂对话场景中的局限性，来自国内的科研团队推出了全新的MMDU数据集，特色在于多图、多轮、长上下文的对话设置，以及开放式的评估方式。配套的MMDU-45k数据集用于微调模型，结果显示，开源LVLMs经微调后，其对话理解和生成能力显著增强，能更好地处理图文信息，且在多项基准测试中表现出色。
来源：https://mp.weixin.qq.com/s/bFKBvKNEYYu_yNqPGH0ZwA