百度2017年率先提出深度学习Scaling Law

Meta研究员发现，Scaling Law最早由百度2017年提出，而非2020年的OpenAI。吴恩达主持的百度硅谷人工智能实验室（SVAIL）系统团队进行了这项研究，探讨了训练集大小、计算规模和模型精度之间的关系。研究使用LSTM模型，测试了图像和音频等领域，揭示了深度学习泛化误差和模型大小的缩放规律。尽管OpenAI论文引用了2019年的相关调查，但未提及2017年的研究，网友认为该论文被低估。
来源：https://mp.weixin.qq.com/s/mBgXZZLpg-7bcQqlrXu8EA