有300亿美元也未必“再造GPT-4”？NUS尤洋最新长文：拆穿AI增长瓶颈的真相

新加坡国立大学尤洋教授指出，当前AI面临的核心瓶颈并非算力停滞，而是现有范式对新增算力的转化效率下降。他强调，智能本质是预测能力，而Transformer的成功源于其与GPU硬件的高度协同，形成了算力到智能的正反馈。然而，当训练FLOPS增长千倍时，模型能力提升已不确定，暴露出现有架构吸收算力的极限。尽管Mamba等提升吞吐，但未必增强“算力转智能”的上限。未来突破可能依赖更高精度计算、新型优化器、可扩展架构及更充分训练，以在万亿级投入下实现智能的持续增长。
来源：https://mp.weixin.qq.com/s/OiAILX0fwNmah8ah_HDb-Q