微软清华改进Transformer：用降噪耳机原理升级注意力，一作在线答疑

微软亚研院和清华团队提出Differential Transformer，通过差分注意力机制有效减少Transformer模型中的噪声，提高注意力集中度。实验表明，DIFF Transformer在长上下文建模、关键信息检索、减少幻觉等方面表现优异，仅需65%的模型大小或训练tokens即可达到传统Transformer的性能。该研究已发布在arXiv平台，引发学术界广泛关注。
来源：https://mp.weixin.qq.com/s/btZB8tDNkvZux-XNivMObQ