周大 发表于 2024-11-6 14:10:23

加速替代CUDA！摩尔线程开源vLLM-MUSA 加速国产GPU AI

摩尔线程近日发布了大语言模型高速推理框架vLLM的MUSA移植版本，该框架支持多种技术，显著提高了大模型的推理性能。摩尔线程正致力于构建完善的MUSA应用生态，通过MUSIFY工具，用户可快速将CUDA代码迁移到MUSA平台，同时提供了多种MUSA加速库，大幅提升了应用移植的效率。
来源：https://www.chinaz.com/2024/1105/1651464.shtml
页: [1]
查看完整版本: 加速替代CUDA！摩尔线程开源vLLM-MUSA 加速国产GPU AI