人大清华腾讯联合提出Crab模型：多模态视听场景统一理解框架，开源数据代码
中国人民大学等机构合作提出Crab模型及AV-UIE数据集，针对多模态大模型的视听场景理解问题，从数据和模型两方面实现任务间的显示互助。研究表明，当前主流学习范式存在任务干扰问题，而Crab模型通过解耦能力和多Head结构有效缓解此问题，在多种任务上表现优于专有模型。相关数据和代码已开源，推动多模态推理研究发展。来源：https://mp.weixin.qq.com/s/i4xPfqYJA2L9NDpU3mvkqQ
页:
[1]