周大 发表于 2024-7-25 15:09:32

打乱/跳过Transformer层会怎样？ Transformer层功能揭秘

最新研究揭示Transformer中间层共享表征空间但各自承担不同功能。实验表明，层的顺序虽然重要，但即便顺序被打乱，模型仍能有效输出。特别地，推理任务较其他任务更依赖于层的顺序。研究还发现，迭代执行并行层有助于提升性能。
来源：https://mp.weixin.qq.com/s/9v2KqHwbbaTLsr53xt-PfQ
页: [1]
查看完整版本: 打乱/跳过Transformer层会怎样？ Transformer层功能揭秘