单个4090可推理，2000亿稀疏大模型「天工MoE」开源

昆仑万维开源的2000亿参数稀疏大模型Skywork-MoE，以其创新的MoE Upcycling技术和在单个4090显卡上的推理能力，降低了AI模型的运行成本。该模型开源且免费商用，其性能与70B的密集模型相当，但成本降低约3倍。独特的训练优化算法提升了模型训练效率和泛化能力，为大规模分布式训练提供了新途径。
来源：https://mp.weixin.qq.com/s/h5bxuWca65t3LsQwqGq-Og