Kimi开源新线性注意力架构，首次超越全注意力模型，推理速度暴涨6倍
月之暗面推出开源Kimi Linear架构，采用新型Kimi Delta Attention机制，在1.4T tokens训练规模下于多项基准测试中超越传统Transformer。该模型通过细粒度遗忘控制和DPLR结构，在长上下文任务中实现解码速度最高提升6倍、KV缓存减少75%，同时保持甚至提升精度。其混合层设计与无需RoPE的位置学习方式增强了稳定性与泛化能力，并可无缝集成至vLLM框架。这一进展标志着线性注意力取得突破，推动AI架构向高效多元方向演进。来源：https://mp.weixin.qq.com/s/ttCfPIXxlT_uetooGWSQ3A
页:
[1]