人大与字节合作：μP理论助力Diffusion Transformers超参优化，计算量节省97%
中国人民大学与字节跳动联合团队将大语言模型训练中的μP理论扩展至diffusion Transformers，解决其超参调优难题。研究表明，即使在结构与任务不同于标准Transformer的视觉生成模型中，μP仍能有效迁移超参，显著降低计算成本。实验显示，在MMDiT（Stable Diffusion基座）中，0.18B小模型搜得的超参迁移至18B大模型后，训练效果优于人工调参，且搜索成本仅为其3%。该成果为大规模视觉生成模型扩展提供了新方法。来源：https://mp.weixin.qq.com/s/U5z6_wjFl6WZ7W4bFEcRBA
页:
[1]