Karpathy后悔了：2015年就看到了语言模型的潜力，却搞了多年强化学习

AI领域大神Andrej Karpathy近日感叹自己在研究方向上“走弯路”，后悔未早带领OpenAI开创大模型时代。2013年Atari RL论文开启了深度强化学习时代，OpenAI在2018年和2019年分别推出了OpenAI Five和类人机械手等成果。然而，与此同时，OpenAI推出的GPT-2标志着大语言模型时代的到来。Karpathy早在2015年就注意到RNN的潜力，并撰文《RNN的不合理有效性》，展示了使用RNN生成莎士比亚风格文本等示例。2017年谷歌发布Transformer论文，进一步推动了大模型的发展。
来源：https://mp.weixin.qq.com/s/fF5a-ydlTVPzfFlSePAczw