美团龙猫LongCat技术升级！新注意力机制解码速度快10倍，还能处理1M超长文本
美团龙猫团队推出新型稀疏注意力机制LoZA，在保留原模型50%核心模块基础上引入流式稀疏注意力SSA，构建ZigZag交错结构，使计算复杂度降至线性水平。该技术让LongCat-Flash-Exp支持高达1M上下文窗口，256K文本预加载提速超50%，解码省算力30%，128K上下文解码快10倍，且在MRCR测试中优于Qwen-3。未来拟支持动态稀疏与多模态应用。来源：https://mp.weixin.qq.com/s/U7OZP5gI3rGMa_7zzwY94w
页:
[1]