周大 发表于 2024-5-24 17:48:27

腾讯发布一念LLM：大模型推理引擎，降低成本，支持国产硬件

腾讯推出一念LLM，一款创新的高性能大语言模型推理引擎，能有效降低推理成本，支持Nvidia和华为硬件，解决行业对国外GPU的依赖。一念LLM通过优化技术，如显存管理和调度，提升了推理效率，较其它开源框架推理成本下降20%+，在特定业务场景下，成本节省可达60%+。并已开源共享，助力学术和技术进步。
来源：https://mp.weixin.qq.com/s/rlyJwaOfDfNYMZEH7kfKGA
页: [1]
查看完整版本: 腾讯发布一念LLM：大模型推理引擎，降低成本，支持国产硬件