统一自监督预训练！视觉模型权重无缝迁移下游任务，SiT收敛提速近47倍

高德地图研究团队提出了一种名为USP的统一自监督预训练方法，解决了将视觉模型权重迁移到扩散模型中的难题。USP通过在VAE潜在空间中进行掩码建模预训练，使预训练权重能够无缝迁移到图像分类、语义分割和基于扩散模型的图像生成等下游任务。实验结果表明，USP在生成任务中显著加速了DiT和SiT模型的收敛速度，分别比从头训练快11.7倍和46.6倍，同时在图像理解任务上也展现了有竞争力的表现。
来源：https://mp.weixin.qq.com/s/VZNvIddmHhO65AKsTV_Ebw