TTT架构挑战Transformer，新方法或颠覆语言模型

TTT，一种新的测试时间训练方法，正挑战Transformer在语言模型的地位。通过使用可学习的模型替代RNN的隐藏状态，TTT在处理长上下文时展现出优于Transformer的性能，且在某些情况下，其效率更高。尽管并行化仍是挑战，研究人员相信TTT可能会彻底改变语言模型，并有可能扩展到视频建模领域，应对Transformer在处理长序列时的效率难题。
来源：https://mp.weixin.qq.com/s/iqy29NHgZumPXHVU_0C72A