兼得快与好！训练新范式TiM，原生支持FSDP+Flash Attention

一项新研究提出Transition Model（TiM），旨在解决生成式AI中生成质量与速度难以兼得的问题。传统扩散模型生成质量高但速度慢，而Few-step模型虽快但质量存在上限。TiM通过建模任意两个时间点之间的状态转移，实现任意步长采样与多段细化轨迹，在理论上兼顾速度与保真度。实验显示，865M参数的TiM在多分辨率与横纵比任务中超越12B参数的FLUX.1模型。研究还提出DDE方法替代传统JVP计算，提升训练效率与兼容性，并通过时间重参数化与损失加权增强稳定性，为生成模型提供了更通用的新范式。
来源：https://mp.weixin.qq.com/s/0IzNkTYWQ20Oi0w6H9Prdw