周大 发表于 2024-11-15 14:35:17

Make U-Nets Great Again!北大&华为提出扩散架构U-DiT,六分之一算力即可超越DiT

北大和华为的研究团队提出了一种新的扩散模型U-DiT,该模型结合了U-Net和Transformer架构,通过引入下采样自注意力机制,在减少算力的同时显著提升了生成效果。实验结果显示,U-DiT在ImageNet生成任务上全面超越了现有的DiT模型,特别是在有条件生成和大图生成任务上表现尤为突出。U-DiT-L模型仅需600K迭代即可达到DiT在7M迭代时的效果,论文已被NeurIPS 2024接收。
来源:https://mp.weixin.qq.com/s/IhlH4CyvM6hFke-8flnscA
页: [1]
查看完整版本: Make U-Nets Great Again!北大&华为提出扩散架构U-DiT,六分之一算力即可超越DiT