随着大模型参数迈向万亿级，Transformer 架构面临算力利用率低、能耗高、与物理世界脱节等瓶颈。中兴通讯《下一代 AI 大模型计算范式洞察》指出，当前依赖“暴力缩放”的 Scaling Law 难以为继，需转向算法与硬件协同的“效率革命”。产业界正通过注意力优化、MoE、P/D 分离等手段改进现有架构，同时积极探索基于物理第一性原理的新模型（如 JEPA、液态神经网络）和新型计算范式（光/量子/电磁计算、存算一体、类脑与 DNA 计算）。中兴在循环 Transformer、稀疏玻尔兹曼机及 FPGA 加速等方面取得显著进展，训练效率提升超百倍，凸显软硬件联合设计在突破“内存墙”“功耗墙”中的关键作用。
来源：https://mp.weixin.qq.com/s/8jJIZywS0Z4N-O3gCO8how
周大 发表于