被Transformer掩盖的先驱论文

尽管2017年的Transformer论文成为AI技术革命标志性成果，但2015年的「End-To-End Memory Networks」同样意义非凡。该论文首次提出完全用注意力机制替代RNN，并引入带键值投影的点积软注意力机制等多项创新，为现代大型语言模型奠定基础。然而，其引用量仅为3000多，远不及Transformer。作者Sainbayar Sukhbaatar回顾了研究历程，并介绍了新工作MTA，该方法在长上下文问题上表现优异。
来源：https://mp.weixin.qq.com/s/9f1vuI5pyW5YhnysND7-KA