华为盘古实现准万亿参数大模型训练

华为盘古团队利用昇腾国产算力平台，在6000多块NPU集群上成功训练7180亿参数MoE模型，攻克负载均衡与通信瓶颈等问题，提出全新EP组负载均衡算法，将模型算力利用率提升至30.0%。盘古Ultra MoE在通用理解、数学推理和代码生成等领域表现卓越，彰显中国科技自主创新实力。
来源：https://mp.weixin.qq.com/s/HGZqvEpuIEWNY7Dn-4qqpg