神经网络可能不再需要激活函数？Layer Normalization也具有非线性表达！

北京航空航天大学的研究团队在最新研究中打破了神经网络领域的传统认知，他们发现层标准化（LN）具备非线性表达能力，即使仅包含线性层和LN的神经网络也能实现任意样本的分类。这一发现通过引入分组层标准化技术（LN-G）得到了强化，实验证实在无激活函数的模型中，LN-G显著提升了模型的准确性，包括在Transformer网络中的应用。这一成果为神经网络设计开辟了新的可能性。
来源：https://mp.weixin.qq.com/s/YRAcAKouScQGt3lOxe8fBQ