Kimi开源新架构，开始押注线性注意力
月之暗面推出新型混合注意力架构Kimi Linear，通过改进的Kimi Delta注意力（KDA）与全注意力3:1混合，在保持甚至超越全注意力性能的同时大幅提升效率。该模型在1.4万亿token上预训练，总参数达48B，在长上下文（最高1M token）、推理与强化学习任务中均表现优异。实验表明其解码速度可达全注意力模型的6倍，KV缓存需求减少75%。vLLM已支持该架构，标志着线性注意力在大模型高效推理中的重要进展，而Qwen与MiniMax则代表不同技术路径的竞争格局。来源：https://mp.weixin.qq.com/s/iqP3_xDkj_g9mLgdFMBWmw
页:
[1]