360提出IAA插件机制解决多模态大模型灾难性遗忘

360人工智能研究院提出IAA新方法，解决了多模态大模型中语言模型的灾难性遗忘问题。IAA借鉴文生图领域ControlNet理念，通过插件方式增强多模态理解能力，同时保持语言模型原有功能不受影响。IAA设计保持基座模型参数不变，新增插入层处理多模态知识，解决了独立部署成本高的问题。IAA不仅适用于多模态任务，还支持特定任务的增强。IAA在通用多模态基准测试中表现出色，相关研究已被AAAI 2025接收。
来源：https://mp.weixin.qq.com/s/KZFywgdApw-fXBSCjKF1kA