腾讯混元大模型负责人王迪：揭秘万亿 MoE 系统工程之道

腾讯机器学习平台部总经理王迪分享了公司在自研万亿级MoE大模型过程中的经验和挑战。大模型的研发被视为一项跨领域的系统工程，涉及工程、算法、数据和业务应用等多个方面。腾讯在这一过程中探索了MoE Scaling Law，并解决了模型训练效率、资源利用率等实际问题。此外，腾讯通过内部太极混元一站式平台支持近700个业务需求，不断优化模型以满足不同业务场景。对于未来AI Infra的发展趋势，腾讯持乐观态度，预计将进一步集群化和规模化。
来源：https://mp.weixin.qq.com/s/l-JiFVI9z6IBwY9hE1k-0Q