Mamba 2再战Transformer架构，训练效率大幅提升

卡内基梅隆大学和普林斯顿大学的研究者推出了Transformer架构的改进版Mamba 2，通过状态空间模型（SSM）框架，解决了Transformer计算量随序列增长的问题，提升了训练效率。Mamba 2在保持竞争力的同时，训练速度提高了2-8倍，且在需要更大状态容量的任务上表现出色。研究还揭示了SSM与注意力机制的互补性，为序列模型的未来发展提供了新思路。
来源：https://mp.weixin.qq.com/s/31t6pJqcXrZDjT6XiJZC_g