美团开源首发INT8无损满血版DeepSeek R1
美团搜推团队成功实现了DeepSeek R1模型的INT8量化，使其能够在A100等老型号GPU上部署。通过分块量化和通道量化技术，量化后的模型在GSM8K和MMLU数据集上的精度基本无损，同时推理吞吐量相比BF16提升了50%。该成果已开源至Hugging Face社区，并合入了SGLang推理框架，极大拓展了DeepSeek R1的硬件兼容性和应用范围。来源：https://mp.weixin.qq.com/s/Rsv0ELMbJpeCqgYsMy1PkA
页:
[1]