清华与字节联合提出PAROAttention：通过Token重排实现5倍稀疏与4比特量化
清华大学研究团队提出PAROAttention方法，针对视觉生成模型中注意力机制效率瓶颈问题，利用视觉特征“局部性”特点，通过离线Token重排将多样分散的注意力模式统一为块状结构，从而提升稀疏与量化效率。实验显示该方案在保持生成质量的同时，实现最高近10倍的注意力延迟优化，且额外开销低于1%，具备良好的硬件兼容性与应用前景。来源：https://mp.weixin.qq.com/s/2ZWAdLD-_XdOz3kL3GRNjw
页:
[1]