AI自我纠错，Diffusion超越自回归！质量提升55%，已达理论证据下界
瑞士苏黎世联邦理工学院研究团队提出广义插值离散扩散模型（GIDD），该模型通过结合掩码和均匀噪声训练，实现了无需强化学习或监督微调的自我纠错能力。GIDD在语言建模中达到了计算效率匹配的最优性能，实验显示样本质量最高提升了55%。研究引入权重裁剪和动态加权方法优化训练目标，并提出自我纠正算法以进一步改进生成样本质量。尽管在高噪声水平下训练难度增加，但实验表明加入均匀噪声显著提升了低计算量推理时的样本质量。此外，在多项基准测试中，GIDD+模型表现出色，甚至优于部分自回归模型。随着模型规模扩大，均匀噪声的影响可能减小，未来性能差距有望进一步缩小。来源：https://mp.weixin.qq.com/s/pu2NmYixfwZq94qFDBZ_YQ
页:
[1]