DeepSeek突发梁文锋署名新论文:V4新架构提前曝光?

[复制链接]
周大 发表于 2026-1-13 16:15:44 | 显示全部楼层 |阅读模式
DeepSeek 开源新架构 Engram,提出“查—算分离”机制,通过哈希 N-Gram 实现 O(1) 复杂度的记忆查找,将事实记忆从神经计算中剥离,在等参数、等算力条件下提升模型效率。该模块与 MoE 协同,前者负责静态记忆检索,后者专注推理,在 27B 模型中验证了高参数利用率与低推理成本的优势。社区普遍认为此为架构创新,或将成为 DeepSeek V4 的核心技术,并推动大模型向更高效、可本地化部署的方向发展。
来源:https://tech.ifeng.com/c/8pqe3kXUEvI

搜索|Archiver|手机版|靠浦网络|靠浦ai课堂 ( 鄂ICP备17024134号-3 )

GMT+8, 2026-10-23 08:41 , Processed in 0.263296 second(s), 21 queries .

Powered by Discuz! X3.5

© 2001-2025 Discuz! Team.

快速回复 返回顶部 返回列表