8张GPU训出近SOTA模型，超低成本图像生成预训练方案开源

香港科技大学Harry Yang团队联合多家机构推出开源图像生成模型LightGen，借助知识蒸馏和直接偏好优化技术，将传统数千GPU days的预训练缩短至88个GPU days。实验表明，LightGen在参数量更小、数据规模更精简的情况下，在256×256和512×512分辨率下的图像生成任务中表现接近甚至超越现有SOTA模型。团队还发现200万张图像为最优预训练数据规模，并计划进一步探索其在视频生成等任务中的应用。
来源：https://mp.weixin.qq.com/s/9dyep_QSeJSZh61jCEzjkg