比Adam更有效，POET从谱不变原理出发，让LLM训练又稳又快
研究团队提出一种基于第一性原理的大型语言模型训练新方法——POET，通过正交等价变换实现权重矩阵的重参数化，在保持奇异值分布不变的同时降低球面能量，从而提升训练稳定性与模型泛化能力。实验表明，该方法在多种规模的 LLaMA 模型中均优于传统 AdamW，尤其在参数效率与内存复杂度方面更具优势。研究还提出归一化高斯初始化等策略，并开发高效近似算法以支持大规模训练。来源：https://mp.weixin.qq.com/s/rdjrknyx2UFzFxlDrgo57A
页:
[1]