架构解耦是统一多模态模型所必须的吗？全新AIA损失：No
近一年来，统一理解与生成模型通过架构解耦（如Janus-Pro、BAGEL）显著缩小了与单任务模型的性能差距，但香港中文大学MMLab与美团的研究指出，这种方式并未真正解决任务冲突，且背离了模型“图文交错思考”的初衷。他们发现，无论是否解耦，理解与生成任务在各层均呈负相关，而性能提升源于其跨模态交互模式趋近单任务模型。基于此，团队提出AIA方法，设计Attention Interaction Alignment损失，在Emu3和Janus-Pro上验证了其可提升性能并实现协同优化，证明架构解耦非唯一路径。研究呼吁学界关注统一模型的本质机制，而非仅追求基准指标。来源：https://mp.weixin.qq.com/s/cfkLqkwZdQeo9wH2R3ZNAA
页:
[1]