「有望成为Transformer杀手」，谷歌DeepMind新架构MoR实现两倍推理速度
谷歌提出新型语言模型架构 Mixture-of-Recursions（MoR），通过动态 token 级路由机制实现参数共享与自适应计算的统一框架。MoR 可在显著减少参数量（最多减少 50%）的情况下，仍优于传统 Transformer 模型，在相同计算预算下获得更低验证损失和更高准确率。其递归级 KV 缓存策略有效降低内存压力，推理吞吐量最高提升 2.06 倍。尽管被部分学者视为“Transformer 杀手”，但其最终地位仍有待进一步验证。来源：https://mp.weixin.qq.com/s/6IUoCHjm9P_FZllxBlQHPQ
页:
[1]