清华开源混合精度推理系统MixQ，实现大模型近无损量化并提升推理吞吐

清华大学PACMAN实验室发布开源混合精度推理系统MixQ，支持8比特和4比特量化，实现近无损的模型部署并显著提升推理吞吐量。MixQ通过低精度张量核心加速推理，同时使用高精度张量核心保持准确性，优化系统性能。该系统已应用于多个主流大模型，并被多家AI公司采用，相关成果将在SC’24会议上发表。
来源：https://mp.weixin.qq.com/s/Y1eB2h86KYpU7SsxxoK4HQ