周大 发表于 2024-8-23 15:01:32

明确了：文本数据中加点代码，训练出的大模型更强、更通用

新研究表明，代码数据对大语言模型性能具有重要影响，不仅限于代码任务。使用代码预训练模型初始化能显著提升自然语言推理等任务的表现，特别是在合成生成的高质量代码数据集上训练时，自然语言推理和代码性能分别提高了9%和44%。预训练冷却阶段加入代码数据还能进一步提升所有任务的表现。
来源：https://mp.weixin.qq.com/s/3Ks72bIGZrNNUukqaHLSQg
页: [1]
查看完整版本: 明确了：文本数据中加点代码，训练出的大模型更强、更通用