UniME多模态框架登顶MMEB全球训练榜，刷新多项SOTA纪录
格灵深瞳与阿里ModelScope团队联合推出通用多模态嵌入框架UniME，该框架通过两阶段训练方法（文本判别知识蒸馏与困难负样本增强指令微调）显著提升了模型的判别能力和跨模态理解能力。实验结果显示，UniME在多模态检索、组合检索等任务中超越现有基线模型，平均性能提升达4.2%-10.3%，并在MMEB基准测试中刷新纪录。研究团队通过消融实验验证了困难负样本和两阶段训练策略的关键作用，进一步凸显了UniME在复杂任务中的优越性。目前，该项目已开源，为多模态领域提供了新的研究方向。来源：https://mp.weixin.qq.com/s/d4huTt19EWBkvtzAHDI1uQ
页:
[1]