NVIDIA港大MIT联合推出Fast-dLLM v2：端到端吞吐量提升2.5倍
Fast-dLLM v2由HKU、NVIDIA和MIT联合提出，通过约1B tokens微调即可将预训练AR模型转化为支持并行解码的Block-dLLM，在保持生成质量的同时，实现最高2.54倍的端到端吞吐提升。其采用块内双向、块间因果结构，结合层级缓存与置信度感知解码，在A100/H100上展现出良好扩展性，7B模型在多项基准测试中得分达60.3，超越同类模型，且训练仅需数小时，显著降低扩散LLM部署门槛。来源：https://mp.weixin.qq.com/s/ttg0Bd5BPSoNd_vVYRtweg
页:
[1]