混合专家更有主见了，能感知多模态分情况行事，Meta提出模态感知型专家混合

Meta FAIR团队推出了一种新的单一Transformer架构——MoMa模态感知型专家混合架构，旨在解决混合模态基础模型存在的局限性。该架构通过模态感知型稀疏性技术和宽度扩展方法提高了模型效率和性能。实验结果显示，MoMa模型在预训练损失、扩展性能和下游任务等方面均表现出色，尤其是在生成混合模态长回答任务方面超越了很多商用模型。
来源：https://mp.weixin.qq.com/s/1FNqu0CwPmMFuDTMhli7WA