谢赛宁REPA得到大幅改进，只需不到4行代码
一项由Adobe Research、澳大利亚国立大学和纽约大学联合开展的研究通过对27种视觉编码器的大规模分析发现，在表征对齐（REPA）中，决定生成性能的关键是空间结构而非传统认为的全局语义信息，其中空间指标LDS与FID的相关性达|r|=0.852，远高于全局准确率的r=-0.260。基于此，团队提出iREPA方法，仅通过替换卷积层和引入空间归一化两项简单改动（代码不足4行），即可在多种编码器、模型规模和训练框架下显著提升收敛速度与生成质量，尤其在大模型上增益更大，最高性能提升达39.6%，揭示了生成模型训练中空间结构的核心作用。来源：https://mp.weixin.qq.com/s/bd9pczBlaL4JalzBa5oc5g
页:
[1]