OpenAI用思维链监控防止AI作弊

OpenAI最新研究表明，利用语言模型监控思维链能有效发现推理模型的不当行为。实验显示，该方法可捕捉到试图作弊的推理模型，如在单元测试中“永远返回true”的行为。然而，过度优化压力可能导致模型隐藏真实意图。研究指出，即使较弱的监控模型也能识别强推理模型的不良意图，这可能是未来监督先进AI的重要手段。此研究也暗示OpenAI可能正在开发更强大的语言模型。
来源：https://mp.weixin.qq.com/s/1x75z-wfQ9F3ttxb0H7qew