突破扩散LLM瓶颈，英伟达港大提全新Fast-dLLM，推理加速27.6倍！
英伟达与港大合作提出Fast-dLLM框架，借助KV Cache和置信度感知的并行解码技术，将Diffusion LLM推理速度提升27.6倍，同时精度损失极小。该方法通过块级缓存机制减少冗余计算，并在长序列生成任务中表现出显著优势。实验表明，单独使用KV Cache或并行解码即可实现数倍加速，两者结合效果更佳，为非自回归模型的实际应用提供了新思路。来源：https://mp.weixin.qq.com/s/JXZi2RI6y_TxZQQJ719uwQ
页:
[1]