新基准测试揭示大模型推理局限

一项新研究基于NPR周日谜题挑战构建了包含近600个问题的基准测试，用于评估大语言模型的推理能力。这些题目易于理解但解答困难，涵盖字母游戏和美国文化常识。测试结果显示，OpenAI o1准确率最高（59%），而DeepSeek R1准确率仅为35%，且常出现“放弃”现象和“无限思考”状态。新基准引发了关于推理定义的争议，部分网友认为这更像记忆测试而非推理。该研究揭示了现有模型在处理特定类型问题时的局限性，并提供了改进方向。
来源：https://mp.weixin.qq.com/s/sbSUI0ECeqsSDaWoI3cPMw