Llama变身Mamba，性能不降，推理更快！

研究人员将Llama大型Transformer模型转化为Mamba模型，并设计了新的硬件感知推测解码算法，有效提升了推理速度。通过渐进式蒸馏、监督微调等技术，新模型在性能上与原模型相当，但训练成本大幅降低。
来源：https://mp.weixin.qq.com/s/P_081wed8rp61_eSk_1AxQ