寒武纪已适配DeepSeek-V3.2-Exp,同步开源推理引擎vLLM-MLU
DeepSeek 于9月29日发布实验性模型 DeepSeek-V3.2-Exp,寒武纪当天即宣布完成对其“day 0”适配,并开源推理引擎 vLLM-MLU。依托 Triton 和 BangC 算子优化及并行策略,寒武纪实现业界领先计算效率。结合新模型的 Sparse Attention 机制,双方显著降低长序列训推成本,推动高效能软硬件方案发展。来源:https://tech.ifeng.com/c/8n3w8iRMcub
页:
[1]