Mamba作者团队提出SonicMoE：一个Token舍入，让MoE训练速度提升近2倍

混合专家（MoE）模型因高粒度与高稀疏性趋势提升了单位计算效率，但引发内存、IO与计算浪费问题。普林斯顿大学Tri Dao团队提出SonicMoE，通过内存高效算法、IO与计算重叠优化及“Token舍入”策略，显著提升训练效率。实验表明，其在7B模型上前向提速43%，反向最高提速115%，端到端吞吐提升达50%以上；仅用64台H100即达到96台H100基线系统的吞吐水平，且已开源核心代码，助力高性能MoE训练发展。
来源：https://mp.weixin.qq.com/s/rVrXj6uLvIHDnu2-T-z4_A