周大 发表于 2025-8-13 14:50:02

华为发布AI推理创新技术UCM：可实现高吞吐、低时延推理体验，计划9月开源

华为于8月12日发布AI推理创新技术UCM，该技术以KV Cache为核心，通过多类型缓存加速算法和分级管理机制，提升推理吞吐量、降低时延与成本。目前UCM已在中国银联三大业务场景中试点并取得成效。华为计划于2025年9月开源该技术，并逐步共享给主流社区及生态伙伴，推动AI推理加速技术发展。
来源：https://tech.ifeng.com/c/8llBmHWIm3v
页: [1]
查看完整版本: 华为发布AI推理创新技术UCM：可实现高吞吐、低时延推理体验，计划9月开源