大模型在装傻！谷歌苹果最新发现：LLM知道但不告诉你，掌握知识比表现出来的多

谷歌和苹果的研究发现，大型语言模型（LLM）内部编码了比其外部表现更多的知识，这些信息集中在特定的token中，可显著提高错误检测能力。尽管LLM常出现事实不准确、偏见等问题，但通过在其内部状态上训练分类器，可以预测并缓解这些错误。研究还揭示了LLM内部编码与外部行为之间的差异，表明即使模型知道正确答案，也可能生成错误的输出。
来源：https://mp.weixin.qq.com/s/WKFSOmpzQ3HdxSEZT4Qd9g