Transformer架构自2017年诞生以来已走过8年，其开创性论文《Attention Is All You Need》被引次数超18万次，虽未获初始认可，却彻底改变了AI领域。它推动了ChatGPT、Gemini等产品的问世，并使人类迈入生成式AI时代。Transformer凭借并行计算优势，实现了模型参数从亿级到千亿级的指数增长，展现出零样本学习等卓越能力。然而，谷歌DeepMind因竞争压力对科研成果发布设限，引发了业界讨论。尽管核心团队已分道扬镳，Transformer的影响力仍在持续，其历史地位不可动摇。
来源：https://tech.ifeng.com/c/8k9REmub2MT
周大 发表于