DeepSeek开源大模型记忆模块！梁文锋署名新论文，下一代稀疏模型提前剧透
DeepSeek联合北大团队提出“条件记忆”新范式，通过Engram模块为Transformer引入高效知识查找机制。该技术采用改进的N-gram哈希查找，结合上下文门控与多级缓存，在27B参数模型中不仅使MMLU、CMMLU等知识任务提升达4分，更意外推动BBH、MATH等推理任务最高提升5.0分。实验表明，将约20%-25%稀疏预算用于记忆可使验证损失降低0.0139，且百亿参数记忆表卸载至CPU仅带来3%以内推理开销，被视作下一代稀疏模型的核心组件。来源：https://mp.weixin.qq.com/s/2Bs7ldBM-DKTjjyAcMvopA
页:
[1]