TTT新架构超越Transformer，引领长上下文建模

斯坦福、UCSD等机构的研究人员提出了一种名为TTT的新架构，它通过梯度下降压缩上下文，替代了注意力机制，解锁了线性复杂度的语言模型。TTT在性能上优于Transformer和Mamba，有望改变长上下文建模的方式，并可能在未来应用于长视频处理。这一创新项目已历时一年多，为现有RNN和Transformer架构提供了改进方案。
来源：https://mp.weixin.qq.com/s/Z8BVt7g6rnuAFzoca1fjfg