早融合 VS 晚融合，Natvie 多模态大模型的 Scaling Law 有所不同吗？

多模态模型正从模块化架构向早融合的Native多模态模型演进。苹果近期研究对比了早融合与晚融合方法，前者通过单个Transformer直接处理多模态输入，可充分利用协同效应；后者先独立编码再整合，依赖单模态预训练模型。研究指出晚融合虽对异质性数据容忍度高，但可能引入偏差，阻碍跨模态依赖关系，而早融合或成未来主流趋势。
来源：https://mp.weixin.qq.com/s/8KjP_0mwLvnKXKLfO2yQJw