亚马逊推出在线购物领域评测基准Shopping MMLU

亚马逊联合香港科技大学、圣母大学推出Shopping MMLU评测基准，涵盖57个任务，评估大语言模型在在线购物领域的表现。该基准解决了多任务性和少样本性两大痛点，吸引了500多支队伍参加KDD Cup 2024竞赛。实验显示，闭源模型领先，但开源模型已能赶上。特定领域模型eCeLLM未能取得最佳成绩，说明微调难度高。Shopping MMLU已开源，鼓励更多研究和应用。
来源：https://mp.weixin.qq.com/s/a6Mt-5aCD5GLhqi7k04iwg