OpenAI前CTO创办实验室Thinking Machines Lab再发新成果，推“模块流形”新范式

Thinking Machines Lab 提出“模块流形”新范式，通过将权重约束于Stiefel等子流形并结合谱范数度量，实现大模型训练中的预防式优化。该方法利用切空间优化与回缩映射，提升训练稳定性和可解释性，并支持层间学习率的合理分配，为深度网络提供更具理论支撑的优化框架。
来源：https://tech.ifeng.com/c/8mzQBje9FGY