谷歌重磅推出全新Scaling Law，抢救Transformer！

谷歌团队提出全新分布式低通信训练方法DiLoCo，其Scaling Law相比传统数据并行训练更具扩展性和效率。研究表明，DiLoCo在模型规模扩大时表现更稳健、优越、高效且强大，解决通信瓶颈问题，降低带宽需求。此外，当前基于“计算+数据”的预训练Scaling Law面临成本激增和数据枯竭挑战，而新型“推理模型”及混合专家模型可能推动AI向轻量化发展，但若合成数据技术突破，“Chinchilla”路径或卷土重来。
来源：https://mp.weixin.qq.com/s/tUrJzSUrwtAffDlmfnH3rw