合成数据成AI热点，模型崩溃待解

随着训练数据即将耗尽，合成数据成为AI领域的热点话题。尽管面临“模型崩溃”的挑战——少量合成数据可能导致模型性能严重下降，但微软、Meta等领先机构仍采用合成数据训练旗舰模型。合成数据具备大规模生成、可定制等优势，但也存在污染训练集的风险。2024年多项研究表明，即使1%的合成数据也可能引发模型崩溃，阻碍其广泛应用。未来6-12个月内，合成数据有望在AI发展中发挥重要作用，但仍需克服模型崩溃问题。
来源：https://mp.weixin.qq.com/s/LPxWCCwETxBTrN8gMYE14Q