微软清华合作推出MH-Mo多头混合专家模型提升AI理解力

微软和清华大学的研究人员提出了多头混合专家（MH-MoE）模型，以解决当前混合专家模型存在的低激活率和无法细粒度理解问题。MH-MoE利用多头机制提高专家激活率，达到90.71%，并在各种语言和多模态建模任务中展现出更高效的学习能力和更强的语义理解。实验结果显示，MH-MoE在多个评估标准下优于现有模型，证明了其在提升模型性能方面的潜力。
来源：https://mp.weixin.qq.com/s/ZCRyb63M2DL4hOQh7uxxaw