Sigmoid注意力一样强，苹果开始重新审视注意力机制

苹果研究者重新审视了Transformer架构中的注意力机制，发现sigmoid注意力机制相较于传统的softmax具有优势。研究提出了一种硬件感知且内存高效的sigmoid注意力实现——FLASHSIGMOID，其在多种任务上的表现与softmax相当，同时提高了效率。研究还证明了具有sigmoid注意力的Transformer是通用函数逼近器。
来源：https://mp.weixin.qq.com/s/4DvgsqkyNcj6HBrAHTygCA