周大 发表于 2024-7-10 14:39:22

大模型不止有RAG、参数存储，还有第3种记忆

上海算法创新研究院和北京大学的研究团队提出了一种新型LLM模型Memory3，该模型借鉴人脑记忆机制，使用显式记忆来降低成本并提高性能。Memory3在2.4B参数规模下，超越了更大规模的模型，且解码速度快于RAG模型。通过两阶段预训练，Memory3降低了幻觉并能快速适应新领域，展示出在对话、专业任务中的优秀能力。
来源：https://mp.weixin.qq.com/s/_7mpswMvpg5sRrIKsF-Vvw
页: [1]
查看完整版本: 大模型不止有RAG、参数存储，还有第3种记忆