无需训练让扩散模型提速2倍,上交大提出Token级缓存方案
上海交通大学等团队提出Toca(Token-wise Caching),通过token粒度的缓存加速Diffusion Transformer模型,在图像和视频生成中实现显著加速。传统特征缓存方法对不同token敏感性不同,可能导致质量下降。Toca自适应选择最适合缓存的token,并为不同神经网络层应用不同缓存比率。实验表明,Toca在多个模型上实现了接近无损的加速,如在OpenSora和PixArt-α上分别实现2.36倍和1.93倍加速,展现出优秀的加速效果和生成质量。来源:https://mp.weixin.qq.com/s/ZqVWslSEdjX00VMf6RqtcA
页:
[1]