大模型推理无损加速6.5倍！EAGLE-3碾压一切、延续Scaling Law能力

EAGLE团队推出EAGLE-3，通过一系列优化将大语言模型推理速度提升6.5倍，同时确保无损输出分布。该方法通过混合目标模型低、中、高层信息作为草稿模型输入，避免了仅用最后一层特征的局限性。实验表明，EAGLE-3在多轮对话、代码生成等任务上表现优异，加速比达3.1x-6.5x，显著优于其他方法。此外，EAGLE-3发布当天即被集成到SGLang中，展现出强大的实际应用潜力。
来源：https://mp.weixin.qq.com/s/4cq9f-_eB4znXRPEpKYAkA