无限生成视频，还能规划决策，扩散强制整合下一token预测与全序列扩散
MIT CSAIL研究团队开发出Diffusion Forcing(DF)，一种创新的训练和采样范式，巧妙融合全序列扩散与下一token预测模型。DF通过赋予每个token独立的噪声水平，利用共享的下一token预测模型进行去噪，实现了序列生成的灵活性与稳定性。CDF(因果扩散强制)，DF的具体实例，不仅能够生成长度可变的序列，还引入了蒙特卡洛树引导(MCTG)，显著提高了高奖励生成的采样效率。实验显示，DF在视频预测、时间序列预测、机器人控制等领域展现出显著优势，特别是在长序列生成和决策制定中表现出色。来源：https://mp.weixin.qq.com/s/kz4RvqdK6nGtA11y5nq5xQ
页:
[1]