调整训练数据出场顺序，大模型就能变聪明！无需扩大模型/数据规模
微软亚洲研究院提出一种新的语言模型训练数据组织范式DELT，强调通过优化数据顺序提升模型性能。该方法在不增加数据量或模型规模的前提下，结合数据评分、选择与排序三大策略，提升训练效率与效能。研究引入Learning-Quality Score评分机制与折叠排序方法，有效增强模型泛化能力。实验表明，DELT在多种模型尺寸与任务中均显著提升性能，为数据驱动AI研究提供了新方向。来源：https://mp.weixin.qq.com/s/F8F8QLsGMDAOvxvd0HE_yg
页:
[1]