小型Transformer模型通过公理训练实现因果推理，媲美GPT-4

微软和MIT的研究人员提出了一种新的训练方法，让小型Transformer模型通过学习公理进行因果推理，其性能可以与GPT-4相媲美。这种方法基于Judea Pearl的因果推理理论，通过公理化训练，模型能在未见过的因果结构中表现出强大的泛化能力，这为大型语言模型学习因果知识提供了新思路。
来源：https://mp.weixin.qq.com/s/ySRE3MaEH539vqrWDi6KBQ