一年后，DeepSeek-R1的每token成本降到了原来的1/32

DeepSeek 近期更新了其 R1 开源大模型论文，详述了包含四阶段训练流程在内的核心技术细节。该模型拥有 6710 亿参数，采用 MoE 架构。英伟达最新研究表明，通过 Blackwell GPU 与 TensorRT-LLM 软件栈的深度协同，在过去数月内实现单 GPU 吞吐量最高提升 2.8 倍，整体自 2025 年初以来吞吐量提升约 36 倍，使每 token 推理成本降至原来的 1/32。借助 GB200 NVL72 和 HGX B200 平台，结合 NVFP4、多 token 预测等技术，显著提升了推理效率与能效表现。
来源：https://mp.weixin.qq.com/s/NTXWaTvPkta4hfguE4_y3w