彻底改写Transformer！「能量驱动架构」横空出世，通用推理时代要来了？

UIUC、斯坦福与哈佛联合提出新型“能量驱动Transformer（EBT）”，突破传统Transformer的前馈推理机制，首次将能量建模引入Transformer架构，通过多轮优化实现类人的System 2思维模式。相比传统Transformer++，EBT在训练效率、泛化能力和多模态任务处理方面均有显著优势，尤其在OOD数据下展现出更强稳健性。实验表明其达到相同困惑度的速度快35.98%，收敛速度快28.46%，并在图像任务中仅用1%推理步数即超越DiT模型。该架构具备动态计算、不确定度表达与自我验证三大能力，或为迈向通用人工智能的重要一步。
来源：https://mp.weixin.qq.com/s/IVlGlNBOuL-Mb5jRulJ6Mw