苹果开发新框架实现多token预测，推理速度最高提5倍且生成质量无损
苹果研究人员提出一种基于 mask token 和门控 LoRA 的新方法，使自回归语言模型实现多 token 推理，在不牺牲生成质量的前提下，对代码和数学任务提速最高达 5.35 倍，一般任务平均提速 2.5 倍。实验基于 Tulu3-8B 模型验证了该方法在多个任务中的有效性，表明模型具备隐式预测未来 token 的能力，且仅需轻量微调即可实现高效生成。来源：https://mp.weixin.qq.com/s/Ji3L43WLZKMIlma52HKErw
页:
[1]