AI预训练争议：小模型周期来临？

Ilya在NeurIPS 2024宣布预训练时代结束，认为数据资源即将耗尽，引发业内争议。谷歌的Logan Kilpatrick和LeCun等专家反对这一观点，认为数据资源远未枯竭。Epoch AI报告指出，当前已进入“小模型”周期，但未来模型可能再次增大。数据显示，SOTA模型参数量增长放缓，从GPT-3到GPT-4增加了10倍，而从GPT-4到GPT-4o减少了近一个数量级。Epoch AI分析了模型变小的四大原因：AI需求激增、蒸馏技术、Scaling Law的转变和推理效率的提高。OpenAI CEO奥特曼认为模型参数竞赛将终结，未来模型规模可能不再继续增大。
来源：https://mp.weixin.qq.com/s/fgTO7cG3QncH-jkCXFeZ8Q