OpenAI罕见发论文：我们找到了AI幻觉的罪魁祸首

OpenAI 在最新论文《Why Language Models Hallucinate》中指出，大模型“幻觉”问题源于训练和评估机制鼓励模型猜测而非诚实表达不确定性。幻觉指模型自信生成错误答案的现象，是当前 AI 可信度的核心障碍。研究发现，当前以准确度为核心的评估方式会奖励模型“猜对”，从而加剧幻觉。OpenAI 提议改进评估标准，对自信错误加重惩罚，并奖励模型表达不确定性的行为。论文同时澄清多个对幻觉的误解，强调幻觉并非不可避免，且小型模型在某些情况下反而更能识别自身局限。OpenAI 表示其最新模型幻觉率已下降，将持续优化。此外，公司正在重组模型行为团队，探索人机协作新界面。
来源：https://mp.weixin.qq.com/s/f6pTUhzn9NjA_xWSvTmG4A