GPT-5准确率不足40%！北大发布多模态、高难度化学基准SUPERChem

北京大学团队发布化学大模型基准SUPERChem，含500道专家级多模态题目，覆盖四大化学领域。测试显示GPT-5 (High)准确率仅38.5%，接近北大化学本科生水平（40.3%），暴露出当前大模型在高阶化学推理上的普遍短板，尤其在反应机理与结构预测等环节。通过引入推理路径一致性（RPF）指标，研究发现不同模型推理质量差异显著。多模态分析揭示图像信息对强推理模型有助益，但可能干扰弱模型。该基准为提升LLM在自然科学中的深度推理能力提供了系统评估工具与优化方向。
来源：https://mp.weixin.qq.com/s/1FXQ33djvAd7tJ-hJQIf5Q