新加坡国立大学尤洋教授在《智能增长的瓶颈》中指出,当前 AI 智能增长受限于现有范式对算力的低效利用,尽管 Transformer 与大算力推动了近年进展,但“预训练红利”正递减。他强调,智能提升的关键不在于参数或架构优化,而在于如何将更多算力(以浮点运算为单位)有效转化为智能。即便算力指数级增长,若算法无法匹配,进步仍将停滞。未来突破或来自更高精度计算、高阶优化器、更优 Loss 函数及训练策略。尽管挑战严峻,作者仍乐观认为,通过更高效的算力利用方式,AGI 仍有广阔发展空间。
来源:https://mp.weixin.qq.com/s/-3pRpsv7SJfsAhZ2qZUB_Q