传送算法提升神经网络优化与泛化能力

加州大学等机构研究发现，利用神经网络参数空间对称性的“传送”算法teleportation不仅能加快模型的优化速度，还能提高泛化性能。研究表明，通过改变极小值的曲率，可以改善模型的泛化能力。此外，传送算法与AdaGrad、SGD等常见优化器结合使用，能提升这些算法的收敛速度。这项工作为理解和利用神经网络优化开辟了新途径。
来源：https://mp.weixin.qq.com/s/IK9ZIez7hVYuT4yM5OyG4A