浙大、千问发布预训练数据管理器DataMan

浙江大学与阿里巴巴团队开发的DataMan数据管理器，能够从14个维度对15个常见应用领域的预训练数据进行全面质量评估。实验结果显示，使用DataMan筛选的数据训练的大语言模型，在多个下游任务上性能显著提升，指令跟随胜率达78.5%，优于使用更多数据训练的基线模型。该研究还探讨了困惑度与上下文学习性能之间的关系，为优化大语言模型预训练提供了新思路。
来源：https://mp.weixin.qq.com/s/TTM2IVgtpgagNbYhyRdwzQ