OpenAI研究人员宣称已破解模型“幻觉”:重新设计评估指标即可
OpenAI 研究人员指出,大语言模型普遍存在“幻觉”问题,即输出不准确信息,其根源在于训练机制更奖励猜测而非承认不确定性。模型被训练成“装作知道”,而非诚实回应未知。研究发现,如 Claude 等模型在不确定时更谨慎,但拒答率高可能影响实用性。研究人员强调,当前评估体系鼓励“考试模式”,导致模型靠猜测获取高分。为解决此问题,需重新设计评分机制,避免惩罚模型在不确定时的拒答行为,从而提升模型在现实复杂场景中的表现。来源:https://tech.ifeng.com/c/8mQhnKB3pAq
页:
[1]