Ilya Sutskever：预训练即将结束引发争议

前OpenAI首席科学家Ilya Sutskever在NeurIPS 2024上提出“数据即将枯竭”及“预训练模型将结束”的观点，认为AI需向更高级的推理能力发展。此言论引发了AI社区广泛争议，尤其针对数据是否真的接近枯竭以及预训练模型是否已走到尽头。部分研究者反驳称视频、图像等高维数据及非互联网文本资源仍丰富。同时，Ilya的观点也触动了关于Scaling Law有效性的讨论，行业内对此存在较大分歧。尽管Sam Altman表示不存在障碍，但预训练的终结可能意味着Scaling Law范式的转变。
来源：https://mp.weixin.qq.com/s/osEZm7GdeR6_wGxJ7f1QeQ