7B新王登基！Zamba 2完胜同级模型，推理效率比Llama 3提升20%，内存用量更少

Zamba2-7B是一款小型语言模型，通过创新架构实现了更快的推理速度和更低的内存占用，尤其在图像描述等任务上表现出色。相比Llama3-8B等模型，Zamba2-7B的首个token时间缩短25%，每秒token数量提高20%，内存使用显著减少。新模型在架构上进行了多项改进，包括替换Mamba1块为Mamba2块，增加两个共享注意力块，以及应用LoRA投影器。预训练数据集达到3万亿个token，经过严格过滤和去重处理，确保数据质量。Zamba2-7B在标准语言建模评估集上表现优秀，推理性能卓越，适合现代硬件的并行处理。
来源：https://mp.weixin.qq.com/s/6_dQod3hS1IJ_xU09x_jrg