MIT最新发现：这十年，算法进步被高估了

研究表明，过去十年AI算法效率提升约22,000倍，但91%的贡献来自两项规模依赖型创新：LSTM到Transformer的架构变革及Kaplan到Chinchilla的训练优化。多数其他改进仅带来不足10倍的小幅提升，且在小规模模型中效果有限。算法进步速度的评估高度依赖基线选择，揭示其发展强烈受计算规模扩张驱动，而非均匀持续的创新积累。
来源：https://mp.weixin.qq.com/s/1ONSL2uDh_SNagtJFQ6zgQ