周大 发表于 2025-5-14 14:41:27

Qwen3家族训练秘籍公开:思考/非思考融进一个模型,大模型蒸馏带动小模型

Qwen3技术报告发布,展示8款模型的关键技术。该模型采用双模式架构,支持推理与非推理任务的动态切换,并引入thinking budget机制优化资源分配。训练过程采用三阶段预训练与四阶段后训练策略,强化语言理解、推理及长文本能力。同时,通过“大带小”蒸馏模式提升小型模型性能。此外,Qwen Chat深度研究功能全量上线,可快速生成定制化研究报告。
来源:https://mp.weixin.qq.com/s/vBunvAtrzNoGQxABVgDB4w
页: [1]
查看完整版本: Qwen3家族训练秘籍公开:思考/非思考融进一个模型,大模型蒸馏带动小模型