周大 发表于 2024-7-17 15:20:45

EAGLE-2技术加速大语言模型推理，性能提升5倍

北京大学和微软亚研院的研究人员提出了一种名为EAGLE-2的新技术，能够显著提升大语言模型的推理速度，最高可达5倍，同时保持输出质量不变。这项技术通过动态调整草稿树结构，依据模型置信度优化生成过程，解决了静态草稿树的效率瓶颈。实验表明，EAGLE-2在多领域任务中表现出色，优于当前其他先进方法。
来源：https://mp.weixin.qq.com/s/TbBYdJWVE-FCajytzjyDzw
页: [1]
查看完整版本: EAGLE-2技术加速大语言模型推理，性能提升5倍