南京大学李武军教授课题组推出分布式训练算法UniAP，大模型训练最高加速3.8倍

南京大学李武军教授团队研发的UniAP算法，通过联合优化层内与层间并行策略，解决了大模型分布式训练中的效率与成本问题。实验表明，相比现有最佳方法，UniAP可提升3.8倍训练速度，并大幅降低算力成本。此外，该算法已适配国产AI计算卡，助力国产AI基础设施普及。
来源：https://mp.weixin.qq.com/s/9B7AOMUQTx7sDj2dWYOyEg