算力直降97%，GPT-3存储只用20MB？！这篇直接在1.58-bit下训练模型的新论文火了
Will小哥提出的“noise_step”新技术，使大型语言模型可在1.58-bit低精度下直接训练，无需反向传播，相比传统方法节省97%算力和90%存储空间。该技术利用伪随机噪声和JVP计算实现梯度估计，显著降低训练成本，特别适用于分布式训练场景。此外，它还支持对训练步骤进行精细调整，进一步提升训练灵活性。论文因背书问题暂发布于GitHub。来源：https://mp.weixin.qq.com/s/G-fpwlK8Z4t9I27yu25MaA
页:
[1]