让GPT-4o准确率大降,这个文档理解新基准揭秘大模型短板
字节跳动OCR团队与华中科技大学推出WildDoc——首个真实场景文档理解基准数据集,包含超12,000张图片,涵盖环境、光照、视角等五类干扰因素。实验表明,主流多模态大模型(如GPT-4o、Qwen2.5-VL)在WildDoc上性能大幅下降,凸显当前模型在真实场景中的不足。研究建议通过数据增强、鲁棒特征学习及引入真实数据优化模型,推动文档理解向实用化与泛化性发展。来源:https://mp.weixin.qq.com/s/9AawMEPPZnPRYX18twOrFw
页:
[1]