360AI推出DiT架构下"省钱版"ControlNet, 参数量骤减85%性能达到SOTA！

360人工智能研究院针对现有可控Diffusion Transformer方法存在的参数多、计算开销大及资源分配效率低等问题，提出了RelaCtrl框架。该框架通过优化控制信号集成方式，基于ControlNet相关性得分确定关键控制位置，引入轻量级模块RGLC简化架构，有效减少了约15%的参数量并降低了计算需求，在控制指标、视觉质量等方面表现优异，且计算复杂度和参数增加量远低于ControlNet方法，相关成果已正式开放。
来源：https://mp.weixin.qq.com/s/uCjATtsn0jJEvFO2fNOiBw