一夜200万阅读,OpenAI神同步!这项测评框架让全球顶尖LLM全翻车

[复制链接]
周大 发表于 2026-1-15 14:54:19 | 显示全部楼层 |阅读模式
由中国初创企业「深度原理Deep Principle」联合MIT、哈佛、斯坦福、剑桥等全球24所顶尖机构发布的论文《Evaluating LLMs in Scientific Discovery》,提出首套面向科学发现的评测体系SDE,涵盖生物、化学、材料、物理领域。测试显示,GPT-5、Claude-4.5等主流大模型在SDE上平均准确率仅为50–70%,在86道高难题中最高得分不足12%,暴露出多步推理与实验闭环能力的严重不足;且模型升级带来的性能增益显著递减,部分场景反现下滑,整体表现不及普通本科生。研究历时9个月,集结50余位国际专家,呼应OpenAI同期研究,凸显现有评测体系局限,呼吁构建专用于科学创新的AI新路径。论文发布后24小时内阅读量逼近200万,引发全球热议。
来源:https://mp.weixin.qq.com/s/Zxl7j7960Lmp9DrrdJF3xQ

搜索|Archiver|手机版|靠浦网络|靠浦ai课堂 ( 鄂ICP备17024134号-3 )

GMT+8, 2026-10-23 08:43 , Processed in 0.275451 second(s), 21 queries .

Powered by Discuz! X3.5

© 2001-2025 Discuz! Team.

快速回复 返回顶部 返回列表