谷歌UFOGen:一步生成高质量文生图的新方法
文生图扩散模型的新进展:谷歌研究团队提出了 UFOGen 模型,一种能极速采样的扩散模型变种。UFOGen 只需要一步就能生成高质量的图片,同时保留了扩散模型的下游应用能力。扩散模型和 GAN 的混合思路:UFOGen 基于之前的 SIDDM 模型,利用 GAN 来模拟复杂的降噪分布,从而减少采样步数。UFOGen 还改进了生成器的参数化方式和重构损失函数的计算方式,使得理论上可以实现一步生成。
从 Stable Diffusion 中初始化参数:UFOGen 利用已有的 Stable Diffusion 模型进行初始化,从而更快更好地扩展到文生图任务上。UFOGen 的生成器和判别器都是由 Stable Diffusion 模型初始化的,能最大限度地利用 Stable Diffusion 的内部信息。
实验结果和优势:UFOGen 在 CIFAR-10, ImageNet 等数据集上展示了高质量,多样的图片生成效果。UFOGen 还能做到图生图和可控生成等下游应用。UFOGen 相比于其他 GAN 模型,训练更稳定,更快速,更易于扩展。
原文链接:https://mp.weixin.qq.com/s/N6gRmmvZVcJjgshmYC_9lw
页:
[1]