周大 发表于 2025-12-23 15:46:34

仅需15%全量Attention！「RTPurbo」阿里Qwen3长文本推理5倍压缩方案来了

阿里RTP-LLM团队推出RTPurbo，通过仅保留15%注意力头使用全注意力机制，在不损失性能的前提下实现Attention计算5倍压缩，并结合自蒸馏训练和系统级优化，在256K长序列下达成最高9倍加速，显著降低大模型长文本推理成本，相关模型与代码已开源。
来源：https://mp.weixin.qq.com/s/wFAJ6oG1CsKBJiCBE45BsQ
页: [1]
查看完整版本: 仅需15%全量Attention！「RTPurbo」阿里Qwen3长文本推理5倍压缩方案来了