只靠国产算力预训练，稳！全流程开源，「开元」盛世真来了
鹏城实验室与清华大学联合发布开源大模型开元-2B，依托鲲鹏920与昇腾910A国产算力平台，克服FP16精度下的训练稳定性难题，通过“三明治范数”与“软裁剪”保障训练收敛。团队开发Kaiyuan-Spark框架，实现TB级数据2.5倍加速去重，并提出“分位标定”量化数据质量，发现高质量数据对性能影响显著（最高差达8%-15%）。采用多阶段动态调整、策略性重复及课程学习策略优化训练过程，最终模型在多任务评测中接近千问系列水平。项目实现从数据、框架到权重的全栈开源，所有数据均符合自由许可证要求，为国产算力环境下的可复现AI研究提供完整技术路径，推动开放协同的AI生态建设。来源：https://mp.weixin.qq.com/s/MLeIHU1j8O6jcGtCmNH-rw
页:
[1]