大模型是否有自知之明？新研究发现LLM可以知晓自己的知识范围

一项由Chandar Research Lab等机构开展的研究表明，大型语言模型（LLM）具备“自知之明”，即知晓自身知识范围的能力。实验通过生成新数据并控制变量，测试了多种架构（如OPT、Flan-T5）及不同参数量的模型。结果显示，模型规模增大通常带来性能提升，但超过一定阈值后效果会减弱。有趣的是，Flan-T5模型在简化设置下表现出色，但在标准设置中却遇到困难。该研究表明，当规模足够大时，LLM确实能够意识到自己的知识边界，这为理解AI认知能力提供了新的视角。
来源：https://mp.weixin.qq.com/s/_SGEw75r6SjcB5JUTg9ENw