微软清华合作创新：指令预训练提升大模型性能

微软与清华大学合作提出了一种新的“指令预训练”技术，旨在改进大模型的训练过程。该方法通过监督多任务学习，利用指令-响应对增强预训练，使较小规模的Llama3-8B模型在某些任务上超越了更大的Llama3-70B模型。研究者构建了200M个高质量指令-响应对，提高了模型的泛化能力和指令微调效率，为预训练带来了新思路。
来源：https://mp.weixin.qq.com/s/y21ii5AxErt-x3mFsAXW2w