Bengio 发布新论文:精简 RNN 性能媲美 Transformer

[复制链接]
周大 发表于 2024-10-4 16:00:31 | 显示全部楼层 |阅读模式
深度学习专家 Yoshua Bengio 发布新论文,提出精简版 RNN(minLSTM 和 minGRU)性能可媲美 Transformer。通过去除隐藏状态依赖,新模型训练参数大幅减少且完全可并行化。实验表明,简化 RNN 在训练效率方面表现出色,尤其适合资源受限场景。
来源:https://mp.weixin.qq.com/s/dsAlCG2TIJO6jELAo_mCDg

Archiver|手机版|靠浦网络|靠浦ai课堂 ( 鄂ICP备17024134号-3 )

GMT+8, 2025-5-18 06:19 , Processed in 0.307624 second(s), 24 queries .

Powered by Discuz! X3.5

© 2001-2025 Discuz! Team.

快速回复 返回顶部 返回列表