扩散语言模型推理太慢？北大团队提出ODB-dLLM框架，破解计算访存双重瓶颈
北京大学研究团队提出ODB-dLLM框架，针对基于扩散的大语言模型（dLLM）推理中存在的计算与访存瓶颈交替问题进行优化。该框架通过自适应长度预测减少因固定长输出带来的冗余预填充开销，并结合跳跃共享推测解码技术，在LLaDA系列模型上实现解码效率与精度双提升。实验显示，预填充阶段占总延迟30-40%的问题得到有效缓解，同时解码步数减少且准确率提高，为高效dLLM推理提供了新路径。来源：https://mp.weixin.qq.com/s/zBCFg_HtWxpoxrsCUbGVlA
页:
[1]