性能不输SOTA，计算量仅DiT一半！T2X任务新范式来了

中山大学和360 AI Research联合推出的PT-DiT，基于Proxy token机制，适用于文生图、文生视频和文生多视图任务。PT-DiT计算量仅为DiT的51.4%和Lumina-Next的17.5%，显著降低了计算复杂度。研究团队通过可视化注意力图发现global self-attention存在冗余，提出了GIIM和TCM两个核心模块，有效提升了生成质量和效率。实验结果表明，PT-DiT在多个任务上表现优异。
来源：https://mp.weixin.qq.com/s/UUqtHn7f8zdeINA9eUNlFg