英伟达成美国大模型开源标杆：Nemotron 3连训练配方都公开，10万亿token数据全放出

英伟达推出高效开源大模型Nemotron 3，融合Mamba-Transformer与MoE架构，在8k/16k序列下推理吞吐达同类模型3.3倍，并在百万级token长上下文任务中表现优异。其Super/Ultra版本采用创新LatentMoE结构和NVFP4低精度训练（已处理25万亿token），性能接近BF16模型。后训练通过多任务同步强化学习显著提升数学、编程等能力，且支持思维预算控制。模型权重、超10万亿token数据及全套训练软件均开源，推动开放AI发展。
来源：https://mp.weixin.qq.com/s/OEtDlmYgkD37DzAEdtR5nQ