语言模型新范式：首个8B扩散大语言模型LLaDA发布，性能比肩LLaMA 3

中国人民大学与蚂蚁集团合作开发的LLaDA是一种基于掩码扩散模型的语言生成方法。研究显示，大语言模型的核心能力并非仅由自回归机制决定，而可能源于合理的生成建模策略。LLaDA通过前向掩码加噪和反向去噪机制，在可扩展性、上下文学习和指令遵循等方面表现出色，部分性能优于传统自回归模型。该模型还克服了逆向推理中的“逆向诅咒”问题，展现出强大的双向推理能力。LLaDA预训练了2.3万亿tokens的数据，并计划近期开源其推理代码和8B Base权重。
来源：https://mp.weixin.qq.com/s/V7lM0Z44X7k5yHoBW7o2OQ