加州大学团队提出M+框架：LLM隐空间记忆突破160k tokens，显存占用不变
加州大学圣地亚哥分校与 MIT-IBM Watson Lab 合作提出 M+ 框架，作为 MemoryLLM 的长期记忆扩展方案，通过将“过期”隐藏向量存储在 CPU 长期记忆池并引入协同检索机制，成功将 8B 级模型的记忆跨度从不足 20k 提升至超过 160k tokens，同时 GPU 显存维持在 18GB 左右。相比传统 Token-Level 记忆方法，M+ 更紧凑、支持端到端训练，并展现出在多个长文本问答任务上的优异表现，为构建具备持续记忆能力的语言模型提供了新路径。来源：https://mp.weixin.qq.com/s/8fl3ymmJMn2P0_XBmVQQuw
页:
[1]