Mamba再次挑战霸主Transformer！首个通用Mamba开源大模型一鸣惊人

TII技术创新研究所开源了Falcon Mamba 7B，这是全球首个基于Mamba架构的通用大型模型，采用SSLM架构，克服了Transformer架构在处理长文本时的限制。该模型在多项测试中表现出色，超越了同级别模型Llama 3.1 8B和Mistral 7B。Falcon Mamba 7B能够在单张A10 24GB GPU上高效运行，处理任意长度的序列，展示了SSLM架构在大规模序列处理方面的显著优势。
来源：https://mp.weixin.qq.com/s/7Ojw4QJved6UmJ0PHRU2xg