Make U-Nets Great Again！北大&华为提出扩散架构U-DiT，六分之一算力即可超越DiT

北大和华为的研究团队提出了一种新的扩散模型U-DiT，该模型结合了U-Net和Transformer架构，通过引入下采样自注意力机制，在减少算力的同时显著提升了生成效果。实验结果显示，U-DiT在ImageNet生成任务上全面超越了现有的DiT模型，特别是在有条件生成和大图生成任务上表现尤为突出。U-DiT-L模型仅需600K迭代即可达到DiT在7M迭代时的效果，论文已被NeurIPS 2024接收。
来源：https://mp.weixin.qq.com/s/IhlH4CyvM6hFke-8flnscA