谷歌苹果曝出LLM惊人内幕，自主识别错误却装糊涂！AI幻觉背后藏着更大秘密

谷歌、苹果等机构研究人员发现，大模型（LLM）内部编码了正确答案，但依然输出错误内容。研究显示，LLM内部表征的真实性信息集中在特定token，而非均匀分布。这些token对错误检测有重要影响，内部表征还可以预测模型可能犯的错误类型。然而，错误检测器在不同数据集间的泛化能力有限，真实性编码并非统一。这项研究有助于开发更有效的幻觉检测系统，但需要访问内部LLM表征，主要适用于开源模型。
来源：https://mp.weixin.qq.com/s/u_h6qwmHdXI74_9feKNeEw