慕尼黑工业大学&北京大学:迈向无冲突训练的ConFIG方法
慕尼黑工业大学与北京大学联合团队提出ConFIG方法,旨在解决深度学习中多损失项优化冲突问题。该方法通过确保最终更新梯度与所有损失项优化梯度无冲突,实现稳定高效的优化策略。此外,团队还引入基于动量的M-ConFIG变种,进一步降低训练成本。实验结果表明,ConFIG在物理信息神经网络(PINNs)和多任务学习(MTL)中表现出色,尤其是在三维Beltrami流动和CelebA数据集上,显著提升了模型的收敛速度和预测精度。来源:https://mp.weixin.qq.com/s/TcPFm6awV-QmuYGwFdxCiw
页:
[1]