从线性注意力视角揭秘视觉Mamba，清华、阿里合作提出全新MILA模型

清华大学研究人员发现，Mamba模型与线性注意力机制之间存在深刻相似性，两者在设计上有显著差异。实验显示，Mamba的成功主要归功于等效遗忘门和宏观结构设计。基于此，研究团队提出了Mamba-Inspired Linear Attention (MILA) 模型，该模型在视觉任务中表现优异，同时保持了线性注意力的高效计算特性。这项研究为未来模型设计提供了新思路。
来源：https://mp.weixin.qq.com/s/mMcKNreJsP9Gm0SMTuT0Ow