dLLM的「Free Lunch」！浙大&蚂蚁利用中间结果显著提升扩散语言模型
浙江大学研究团队针对扩散大语言模型（dLLM）提出 Temporal Self-Consistency Voting（TCV）与 Temporal Consistency Reinforcement（TCR）两种新方法，旨在提升其推理稳定性与准确性。研究发现，dLLM 在生成过程中存在“先对后错”现象，即中间步骤曾得出正确答案但后续被推翻。TCV 利用时间轴上的中间预测进行投票，几乎不增加计算成本即可提升性能；TCR 则引入 Temporal Semantic Entropy（TSE）作为训练奖励信号，使模型在 Countdown、GSM8K 等多个数据集上表现显著提升，最高达 25.3%。实验表明，新方法有效挖掘了中间迭代信息，提升了生成稳定性与输出简洁性，为 dLLM 的优化提供了新思路。来源：https://mp.weixin.qq.com/s/cfoKYlPNLZa_uS74e1B0QQ
页:
[1]