「Memory as a Context」是否将重新定义 Transformer 的 「记忆模式」？

谷歌提出的“Titans”架构通过“Memory as a Context”等机制，推动Transformer向具备测试时学习能力的自适应记忆系统演进。其MIRAS框架为记忆增强型模型提供统一理论视角。尽管罗马大学研究指出其在分块机制与主干网络适配上存在挑战，但神经记忆组件仍能持续提升性能。华为综述表明，LLM记忆正从静态缓存转向动态管理，涵盖读取、写入、遗忘与容量控制的技术革新，成为突破当前智能瓶颈的关键方向。
来源：https://mp.weixin.qq.com/s/nhzkIO2vbEFitj3T4ImZAw