微软开源高效MoE模型GRIN MoE

微软开源了新的混合专家（MoE）大模型GRIN MoE，参数总量约为42B，推理时激活的参数为6.6B。该模型在编码和数学测试中表现出色，特别是在GSM-8K和HumanEval基准测试中。GRIN MoE采用了新一代SparseMixer技术，解决了传统MoE训练中的梯度估计问题，并通过数据、pipeline和张量并行避免了token丢弃问题，实现了超过80%的训练效率提升。
来源：https://mp.weixin.qq.com/s/pt-AlH_z4e3PNiKC9Iyz7A