蚂蚁自研2900亿大模型用国产AI芯片训练,计算成本508万元低于DeepSeek
蚂蚁集团通过自主研发的AI Infra技术,成功开发了两个开源MoE模型Ling-Lite和Ling-Plus,参数规模分别为168亿和2900亿。团队采用国产AI芯片替代英伟达产品,在预训练阶段将成本降低约20%,达到508万元,同时性能媲美阿里通义Qwen2.5和DeepSeek-V2.5。通过创新的MoE架构和优化工具(如XPUTimer、EDiT),蚂蚁实现了高效低成本的大规模模型训练。Ling系列模型在多语言基准测试中表现出色,尤其在安全性和错误拒绝率方面具有优势。这一成果不仅展示了中国AI技术的突破,还凸显了在低成本计算资源下实现高性能模型的可能性。来源:https://mp.weixin.qq.com/s/5z7Bw77G6fVcE9SuAnONqA
页:
[1]