注意力机制大变革？Bengio团队找到了一种超越Transformer的硬件对齐方案

Radical Numerics与Yoshua Bengio团队提出滑动窗口循环（SWR）与B2P算法，通过硬件对齐的矩阵运算优化线性递归模型，在1.3B模型中实现训练吞吐最高提升40%，8K上下文快28%，且困惑度更低，为高效长序列建模提供了兼顾速度与精度的新方案。
来源：https://mp.weixin.qq.com/s/xl7nFMEGCwv_g_Cw10rg6g