用更一致的轨迹、更少的解码步数「驯服」掩码扩散语言模型,扩散语言模型的推理性能和效率大幅提升
复旦大学等联合团队针对掩码扩散大语言模型的全扩散解码性能瓶颈,提出EOSER、ASS与CJ-GRPO组合方法,解决陷阱、步长不合理及轨迹不一致问题。在LLaDA-8B上实验显示,推理步数降至O(logL)时性能仍优于传统方法,数学与规划任务表现显著提升,为扩散语言模型高效推理提供新路径。来源:https://mp.weixin.qq.com/s/O1e5zmkTPu8cNnCrMPUmTQ
页:
[1]