不靠海量数据，如何精准喂养大模型？上交Data Whisperer：免训练数据选择法，10%数据逼近全量效果

上海交通大学联合多所高校及企业提出 Data Whisperer，一种无需训练、基于注意力机制的数据选择方法，利用大模型自身上下文学习能力，自动筛选高质量训练样本。仅需 10% 数据即可达到接近全量数据的微调效果，在 GSM8K、DialogSum 等任务中表现优于现有方法。其引入的 STR 指标显示其选题效率显著更高。该方法通过 ICL 构建与注意力权重评估样本质量，支持小模型选题、大模型精调的弱选强训模式，适用于资源受限场景。理论分析表明，ICL 过程模拟了参数更新机制，为大模型训练提供新范式。
来源：https://mp.weixin.qq.com/s/cPRZoIKrhfpRFRk4exaxiQ