周大 发表于 2025-3-11 15:12:19

字节跳动豆包团队开源MoE架构优化技术：可将大模型训练效率提升1.7倍

字节跳动豆包大模型团队在混合专家架构取得重要突破，训练效率提升1.7倍，成本降低40%，并在内部万卡集群成功应用，节省数百万GPU小时算力。该团队决定将此成果开源，以推动AI行业整体发展，助力更多研究者和开发者提升模型训练效率，促进人工智能技术创新与应用。
来源：https://www.chinaz.com/2025/0311/1673728.shtml
页: [1]
查看完整版本: 字节跳动豆包团队开源MoE架构优化技术：可将大模型训练效率提升1.7倍