字节豆包大模型团队突破残差连接局限！预训练收敛最快加速80%

字节跳动豆包大模型团队提出了一种新的残差连接替代方案——超连接（Hyper-Connections）。该方案通过动态调整不同层之间的连接权重，解决了梯度消失和表示崩溃之间的权衡问题。实验结果显示，超连接在 Dense 模型和 MoE 模型的预训练中显著提升了性能，使收敛速度最高可加速 80%。此外，超连接在视觉任务中也表现出色，显示出广泛的应用前景。值得注意的是，超连接的引入几乎不增加额外的计算开销或参数量。
来源：https://mp.weixin.qq.com/s/c5poMum0tzl6uIeqrK0_xg