Ilya 去年的视频为何复燃？预测下个 token 就是在理解世界

在 2023 年 3 月 23 日的英伟达 GTC 大会上，OpenAI 联合创始人 Ilya Sutskever 与英伟达 CEO 黄仁勋讨论了 ChatGPT 的能力。Ilya 表示，ChatGPT 通过预测下一个词学习了一个世界模型，理解了文本背后的真实世界过程和情感。他还强调，预训练使模型具备了理解世界的能力，但需要通过微调和强化学习使其具备特定行为。这一观点在 Reddit 上引发了关于 AI 理解能力和认知的广泛讨论。
来源：https://mp.weixin.qq.com/s/DtPoprloPHw4lX3Maurikg