至强6性能核处理器大幅提升大模型推理性能
英特尔至强6性能核处理器通过大幅提升核数和内存带宽，实现了推理性能2.4倍的提升。每个计算单元芯片拥有44个内核，内存控制器区域面积增大以支持MRDIMM技术。NUMA模式下，SNC3 Mode时延低，适用于云应用；HEX Mode则适合大型数据库。MRDIMM使双路至强6900P机型可扩展至6TB内存，对大语言模型推理性能提升显著，达30%以上。内存带宽的增长超越了CPU内核数量的增长，在大模型推理中起关键作用，降低了推理成本。来源：https://mp.weixin.qq.com/s/LrDlcibl5BkncC1MeqoYLQ
页:
[1]