“多模态通路”框架提升Transformer性能

港中文MMLab和腾讯AI Lab的最新研究发现，通过“多模态通路”框架，模型能在处理特定任务时利用无关模态数据，如视频、音频，提升性能，降低标注数据需求。实验显示，这种方法在图像识别等任务中取得显著效果，且揭示了多模态学习的新机制，为数据有限的领域提供了新解决方案。
来源：https://mp.weixin.qq.com/s/Y4LV07qNzRa5MA_lygBiaw