周大 发表于 2025-11-6 14:17:31

AI推理性能大提升：华为UCM技术开源，系统吞吐猛增22倍

华为于11月5日宣布开源AI推理加速技术UCM，该技术通过KV Cache多级缓存与推理框架、算力、存储的协同优化，显著提升长序列推理效率。其架构支持稀疏注意力、前缀缓存等核心功能，可实现首Token时延降低最高90%、系统吞吐提升22倍，并扩展上下文窗口达10倍。相关代码与工具链已开放，供开发者在ModelEngine社区获取。
来源：https://tech.ifeng.com/c/8o2Mlagk4zX
页: [1]
查看完整版本: AI推理性能大提升：华为UCM技术开源，系统吞吐猛增22倍