新能量模型EBT突破Transformer局限，无监督学习实现系统2思维，训练效率提升35%

研究人员提出基于能量的 Transformer（EBT），通过无监督学习实现系统 2 思维能力。该模型通过梯度下降优化预测，模拟多步推理过程，在文本和图像任务中均优于现有模型。实验显示，EBT 在训练扩展速度上最高快 35%，语言任务推理性能提升 29%，图像去噪效率更高且泛化能力更强，尤其在处理分布外数据时表现突出，为未来基础模型发展提供新方向。
来源：https://mp.weixin.qq.com/s/7o_zlIldFcFJfKY05bQnhg