爆火Block Diffusion引发LLM架构变革？自回归+扩散模型完美结合

康奈尔科技校区与斯坦福大学研究人员提出块离散去噪扩散语言模型（BD3-LMs），该模型融合自回归模型与扩散模型优势，解决了现有扩散模型在生成长度、推理效率及生成质量上的不足。通过块状扩散实现任意长度生成，使用键值缓存提高效率，并优化噪声调度以降低训练方差。实验表明，BD3-LMs在语言建模基准测试中表现出色，达到离散扩散模型中最低的困惑度，且生成效率和质量均优于其他扩散模型。
来源：https://mp.weixin.qq.com/s/GNpYNXbtogyZGyrHl6Ihmw