字节Seed发布扩散语言模型，推理速度达2146 tokens/s，比同规模自回归快5.4倍

字节跳动Seed团队发布专注于代码生成的扩散语言模型Seed Diffusion Preview，采用离散状态扩散技术，在H20设备上实现高达2146 tokens/s的推理速度，较同类模型及自回归模型快最多5.4倍。该模型通过结构化代码生成验证了离散扩散技术在语言模型中的可行性，并提出四项关键技术：两阶段训练（掩码与编辑阶段）、约束顺序扩散、同策略学习范式和块级并行采样，有效解决归纳偏置与推理效率问题。实验显示其在代码修复基准CanItEdit上的pass@1提升4.8%，在代码编辑任务中表现尤为突出。该模型为下一代语言模型架构提供了新思路。
来源：https://mp.weixin.qq.com/s/VqUaKXPICw5EjeMoXmgOZQ