无需训练让扩散模型提速2倍，上交大提出Token级缓存方案

上海交通大学等团队提出Toca（Token-wise Caching），通过token粒度的缓存加速Diffusion Transformer模型，在图像和视频生成中实现显著加速。传统特征缓存方法对不同token敏感性不同，可能导致质量下降。Toca自适应选择最适合缓存的token，并为不同神经网络层应用不同缓存比率。实验表明，Toca在多个模型上实现了接近无损的加速，如在OpenSora和PixArt-α上分别实现2.36倍和1.93倍加速，展现出优秀的加速效果和生成质量。
来源：https://mp.weixin.qq.com/s/ZqVWslSEdjX00VMf6RqtcA