消除多对多问题,清华提出大规模细粒度视频片段标注新范式VERIFIED
清华大学研究团队开发了自动化视频-文本细粒度标注系统VERIFIED,解决了现有VCMR基准数据集以粗粒度为主的问题。VERIFIED系统通过大语言模型和多模态大模型生成细粒度的静态和动态标注,并通过微调UMT提高标注可靠性。基于此系统,研究者构建了三个新的细粒度VCMR基准数据集,评估结果显示现有模型在处理细粒度信息时仍有较大差距。来源:https://mp.weixin.qq.com/s/SZ3G9kYCPLjsNgir4jTmuw
页:
[1]