腾讯发布最大开源MoE模型Hunyuan-Large
腾讯发布了开源MoE模型Hunyuan-Large，该模型拥有3890亿总参数和520亿激活参数，性能超越Llama 3.1 405B等开源旗舰，支持256k上下文长度。Hunyuan-Large基于腾讯内部混元大模型技术，已在内部业务中应用。开源版本包括预训练模型、微调模型和FP8量化的微调模型，免费商用。技术报告详细介绍了MoE的Scaling Law公式、混合路由策略、高质量合成数据等。模型在长文处理能力、推理加速、后训练优化等方面进行了多项优化。腾讯计划逐步开源中小型号模型，适应更多开发者需求。来源：https://mp.weixin.qq.com/s/KR81atNl5yhL04T4BHoIgQ
页:
[1]