MMMU华人团队更新Pro版！多模态基准升至史诗级难度：过滤纯文本问题、引入纯视觉问答

MMMU-Pro通过改进多模态模型评估方法，采用三步构建过程，提高了问题难度，减少了模型依赖捷径的可能性。实验结果显示，模型在MMMU-Pro上的性能明显下降，表明新基准能更准确评估多模态理解和推理能力。研究还发现，OCR提示影响较小，而CoT推理通常能提升性能。
来源：https://mp.weixin.qq.com/s/oO8sYqTeJQQ7x05BazkP5Q