安谋科技下代“周易”NPU成功部署DeepSeek-R1：速度高达40 tokens/s
安谋科技宣布新一代“周易”NPU处理器已成功部署并运行DeepSeek-R1系列模型，性能优越且成本优异。该处理器采用7nm工艺制造，单Cluster算力达80 TOPS，带宽提升至256GB/s，支持多种主流大模型及动态推理优化。测试显示其在首字计算阶段算力利用率超40%，解码阶段带宽利用率超80%，处理速度可达每秒40 tokens。此外，它还支持FP16数据精度计算和INT4软硬量化加速，具备强大的多任务并行处理能力，预计今年上半年正式发布。来源：https://tech.ifeng.com/c/8gxrAj1xErM
页:
[1]