AI医生终于有了硬标尺！全球首个专病循证评测框架GAPS发布，蚂蚁联合北大王俊院士团队出品
蚂蚁健康与北大人民医院王俊院士团队联合推出全球首个专病大模型循证评测框架GAPS及GAPS-NSCLC-preview评测集，涵盖92题、1691个临床要点，从认知深度、回答完备性、鲁棒性和安全性四维度系统评估AI临床能力。研究发现，当前主流大模型虽在知识记忆上表现优异（如GPT-5 G1/G2得分0.72），但在不确定性推理（G4最低跌至0.35）、关键信息完整性、抗干扰能力和安全底线方面仍存在显著缺陷。评测框架自动化评分与专家共识一致性达90.00%，Kappa系数0.77，具备高可靠性。该成果标志着医疗AI评测从“考试式”向“临床胜任力”范式转变，为AI向可信临床应用进化提供量化路径。来源：https://mp.weixin.qq.com/s/_h7uO5Lt9ZTBUfemIZMAQg
页:
[1]