梁文锋署名DeepSeek新论文：公开V3大模型降本方法
DeepSeek最新论文揭示了V3版本如何通过四项核心技术突破硬件瓶颈。内存优化方面，多头潜在注意力（MLA）将KV缓存需求降至传统方法的1/7至1/4；计算优化引入MoE与FP8低精度训练，使训练成本降低50%；通信优化采用多层胖树网络，延迟减少30%；推理加速则通过多token预测（MTP）实现1.8倍速度提升。此外，论文还提出了下一代AI硬件在低精度计算、扩展融合、网络拓扑、内存系统及鲁棒性方面的改进方向。来源：https://tech.ifeng.com/c/8jNXSzsj2hn
页:
[1]