Meta没做的,英伟达做了!全新架构吞吐量狂飙6倍,20万亿Token训练
英伟达发布NVIDIA Nemotron Nano 2模型,采用Mamba-Transformer混合架构,在推理准确率上与Qwen3-8B相当或更优,吞吐量提升最高达6倍。该模型基于Mamba-2架构,显著提升长序列推理速度,并通过压缩技术将120B参数模型精简至9B,支持128K上下文。英伟达已全面开源模型及配套数据集,涵盖数学、代码、多语言等内容,成为当前开源大模型生态的重要推动者之一。来源:https://tech.ifeng.com/c/8lwK6xC4GxJ
页:
[1]