Jurgen、曼宁等大佬新作：MoE重塑6年前的Universal Transformer，高效升级
近日，由LSTM之父Jürgen Schmidhuber和斯坦福大学教授Christopher Manning等研究者提出了一种新的模型——Mixture-of-Experts Universal Transformers（MoEUT）。该模型通过结合MoE在前馈和自注意力层的最新进展，以及layer grouping和peri-layernorm方案，提高了Universal Transformer（UT）的计算效率。实验结果显示，MoEUT在多个语言建模和代码生成数据集上的性能和效率均优于标准Transformer，特别是在参数相同的情况下，MoEUT模型的性能略胜一筹，并且随着规模的扩大，差距逐渐扩大。来源：https://mp.weixin.qq.com/s/CckHYrUpwCpft53-lZ4DwA
页:
[1]