腾讯混元、英伟达都发混合架构模型，Mamba-Transformer要崛起吗？

腾讯和英伟达相继推出基于Mamba-Transformer混合架构的深度学习模型。腾讯的混元T1和英伟达的Nemotron-H系列，均通过融合Mamba与Transformer架构，大幅提升了推理速度并降低了计算复杂度和内存占用。其中，混元T1实现首字秒出，吐字速度最快可达80 token/s；Nemotron-H的速度为同体量竞品三倍。此外，STORM和Vamba等模型在视频理解等多模态任务中展现出高效处理长序列的优势，表明此类混合架构正推动AI大模型向更广泛应用迈进。
来源：https://mp.weixin.qq.com/s/KWCE3mxZeWchpDM9YmxpnQ