Aaren模型：Transformer效率新解，兼顾长上下文与低资源需求

加拿大皇家银行AI研究所和蒙特利尔大学的研究团队，包括图灵奖得主Yoshua Bengio，提出了一种名为Aaren的新模型，解决了Transformer在长序列处理时的内存和计算瓶颈问题。Aaren结合了Transformer的并行训练能力和RNN的高效更新，能在保持性能的同时，降低时间和内存消耗，适用于强化学习、事件预测等多个领域。实验结果显示，Aaren在多种任务上与Transformer表现相当，但资源利用率更高。
来源：https://mp.weixin.qq.com/s/mRt2A1n1CmO7uqzuLQHxkw