DeepSeek发布首个MoE模型开源通信库DeepEP
DeepSeek在开源周发布DeepEP，作为首个针对MoE模型训练和推理的开源EP通信库。该库提供高吞吐量和低延迟的all-to-all GPU内核，并支持FP8运算。其采用MIT协议开源，支持NVLink和RDMA通信，包含普通和低延迟两种内核适应不同场景需求。DeepEP需要特定软硬件环境，如Hopper架构GPU、Python 3.8以上版本等，暂不支持消费级显卡。经过InfiniBand网络全面测试，团队给出最佳性能配置建议，以实现高效优化的通信。来源：https://mp.weixin.qq.com/s/2ecxmq9zbwFlzOalprok0Q
页:
[1]