首个基于统计学的线性注意力机制ToST，高分拿下ICLR Spotlight

Token Statistics Transformer (ToST) 是一种新的注意力机制，将计算复杂度从O(n²)降为O(n)，解决了Transformer架构长期存在的效率瓶颈问题。该研究由加州大学伯克利分校等多所机构合作完成，通过统计特征提取、变分编码率缩减等方法实现线性复杂度。实验表明，ToST在自然语言处理和计算机视觉任务中表现出色，显著降低了计算资源消耗。该成果入选ICLR 2025大会Spotlight论文，具有推动大模型高效化、多模态融合等潜力。
来源：https://mp.weixin.qq.com/s/md8M9SAny1guiF8mx_BuDg