DeepSeek团队新作：把代码变成思维链，大模型推理各种能力全面提升

DeepSeek团队构建了包含300多万个实例的数据集CODEI/O，通过将代码转化为思考过程来训练大模型。经过CODEI/O训练后，Qwen、Llama等模型在常识、数学、物理等多个领域推理能力显著提升，特别是在非代码类任务上也展现出良好迁移能力。研究团队通过对代码文件预处理、生成输入-输出对、合成自然语言思维链等步骤完成数据集构建，并引入验证和修订机制优化数据质量。测试结果显示，CODEI/O相比其他数据集效果更佳且通用性更强。
来源：https://mp.weixin.qq.com/s/2Xb8hdrZe0JcLjBdKfktkQ