华为放出「准万亿级MoE推理」大招，两大杀手级优化技术直接开源
2025年，大模型发展重心由训练转向推理效率。华为发布并开源718B参数的MoE模型openPangu-Ultra，并推出昇腾亲和加速技术，涵盖Omni Proxy智能调度系统和AMLA高性能算子。其中Omni Proxy通过全链路调度优化提升吞吐，AMLA在昇腾硬件上实现86.8%的FLOPS利用率，远超业界水平，有效解决了超大规模MoE模型在部署中的计算、通信与资源利用率难题，推动大模型迈向低成本、高稳定性的生产级应用。来源：https://mp.weixin.qq.com/s/mW2gmClUexc3U1zEPVbDQg
页:
[1]