新基准揭示大模型推理能力被高估

一项新研究表明，包括 GPT-4 在内的多个热门大模型存在过拟合问题，可能源于评估基准的训练数据污染。Scale AI 创建的新基准 GSM1k 显示，一些模型如 Mistral 和 Phi 在无污染测试中的性能显著下降，但仍具备一定的推理能力。研究还指出，数据污染并非过拟合的全部原因，模型训练过程中的其他因素也可能导致此现象。
来源：https://mp.weixin.qq.com/s/YRYaCSsaegjBtwevpwlLHQ