视觉自监督学习媲美CLIP

Yann LeCun等研究者探讨了语言监督在多模态建模中的必要性，发现视觉自监督学习（SSL）在VQA任务上可匹敌CLIP，尤其在OCR和图表理解任务中表现突出。通过使用相同规模的数据集训练Web-SSL模型系列，研究显示视觉SSL在模型容量和数据规模方面具有良好的扩展性，且在传统视觉任务中保持竞争力。这表明视觉SSL仍有巨大潜力待挖掘。
来源：https://mp.weixin.qq.com/s/V7Ml_xgiiQalxnGQmIWi_Q