DeepSeek开源首个MoE模型专用通信库

DeepSeek于2月25日宣布开源DeepEP通信库，这是首个专为MoE模型训练和推理设计的开源EP通信库。该库支持高效的全员沟通，并在节点内和节点间兼容NVLink和RDMA技术。它提供高吞吐量内核以加速训练和推理预填充，同时具备低延迟内核用于推理解码。此外，DeepEP原生支持FP8调度，并通过灵活的GPU资源控制实现计算与通信的重叠，显著提升效率。
来源：https://tech.ifeng.com/c/8hFzy2So0cy