NeurIPS 2025 | 英伟达发布Nemotron-Flash：以GPU延迟为核心重塑小模型架构

英伟达研究院发布新型小语言模型Nemotron-Flash，突破“小即快”的设计误区，基于真实GPU延迟重构模型结构。通过深宽比优化、混合算子架构与训练期weight normalization，该模型在H100上实现最高41K tokens/秒吞吐，相比Qwen系列准确率提升2%–5.5%，延迟降低1.3–1.9倍，最大吞吐提升达45.6倍。研究成果已被NeurIPS 2025接收，展现出在高并发服务、边缘计算等场景的广泛部署潜力。
来源：https://mp.weixin.qq.com/s/cel8rnvdAQZI8OscKfPltA