70年AI研究得出了《苦涩的教训》：为什么说AI创业也在重复其中的错误？

AI 领域正经历一场关于 Scaling Laws 的激烈讨论。一方面，Ilya Sutskever 认为大模型预训练可能已到极限；另一方面，黄仁勋则强调英伟达的新 RTX 显卡仍遵循扩展规律。《苦涩的教训》揭示了历史上 AI 研究者依赖工程设计提升性能，但最终被加大算力的通用方案超越的现象。当前 AI 创业者也在重复这一错误，通过复杂的工程优化弥补模型不足。然而，随着更强大模型的出现，这些努力可能会变得无效。垂直型 AI 产品专注于特定领域，而水平型产品更为通用。未来，灵活性更高的模型有望在更多场景中取得成功，这再次验证了 Sutton 的观点：加大算力的通用方法最终会胜出。
来源：https://mp.weixin.qq.com/s/LLjWskGKx3_TLOPBoTwcoQ