华为昇腾系统实现每2秒解一道高数题，准万亿MoE模型训练全流程突破GPU限制
华为借助“昇腾+Pangu Ultra MoE”实现了国产算力全流程自主可控的训练闭环，在预训练阶段，昇腾Atlas 800T A2万卡集群MFU达到41%，而后训练阶段单CloudMatrix 384超节点吞吐达35K Tokens/s。华为提出三招解决技术痛点，包括提升训练集群利用率、释放昇腾单节点算力及首次披露高性能可扩展RL后训练关键技术。Pangu Ultra MoE模型具有7180亿参数量，包含61层Transformer。在RL后训练阶段，采用混合并行策略实现每超节点35K Tokens/s的高吞吐能力，效率极高，每2秒即可完成一道高等数学大题的解析。来源：https://mp.weixin.qq.com/s/EnKbKpq8YAcqGnYJ7K9Bdg
页:
[1]