自回归因果注意力也能并行解码？上交联合UCSD突破LLM推理瓶颈，模型代码全开源
针对大语言模型推理速度瓶颈，UCSD与上海交大团队提出Jacobi Forcing方法，可在不改变AR模型结构的前提下实现因果并行解码。该技术通过渐进式蒸馏训练和多块调度策略，在7B模型上实现最高4倍提速，编码任务TPS从39.8提升至181.8，同时在HumanEval和GSM8K任务中分别保持83.5%和91.4%的高性能表现，显著优于dLLMs与投机解码方案，为高效、低代价、高质量的LLM部署提供了新方向。来源：https://mp.weixin.qq.com/s/EYCIQlwGFnhxXxeuU__TLQ
页:
[1]