LLM训练通信量减少10000倍！全新分布式优化器，整合世间算力训练强大AI

近日，Nous Research发布了一款名为DisTrO的分布式优化器，成功将训练大语言模型时GPU间的通信量降低了1000至10000倍。这一技术突破不仅解决了带宽瓶颈问题，还在不牺牲性能的前提下实现了低延迟训练。DisTrO具备广泛适用性和高弹性，未来有望应用于联邦学习和虚拟异构GPU集群，从而减少能源消耗和环境影响。
来源：https://mp.weixin.qq.com/s/epbyp2YIbpaWinbq5TobZg