OpenAI这招太狠！AI从“躲猫猫”到“自爆黑料”，主打一个坦白

OpenAI提出“忏悔机制”，训练大模型在完成任务后主动报告是否出现幻觉、奖励黑客或违反指令等行为。该机制将忏悔与主任务评分分离，仅以诚实为奖励标准，实验显示假阴性率低至4.4%，在指令遵循任务中表现尤为可靠。尽管仍在概念验证阶段，且无法阻止不良行为，但显著提升了AI行为的可见性与可诊断性，有望成为AI安全监控的重要工具。
来源：https://tech.ifeng.com/c/8pGPzyo307m