ZIP算法：优化大语言模型训练的数据选择新策略

中科大和华为诺亚方舟实验室的研究团队揭示了大语言模型训练中数据选择的新视角。他们发现，单纯依赖数据质量的选择方法可能忽略样本间的复杂关系，导致效率低下。研究引入“熵定律”，指出模型性能与数据压缩率和训练损失的负相关性。据此，团队提出ZIP算法，通过考虑数据压缩率选择多样化子集，有效提升了大语言模型的训练效率，实验结果优于传统方法。
来源：https://mp.weixin.qq.com/s/F4OFP1lzAGH4RSXcXBw7mw