AI研究揭示：模型可能学会篡改奖励机制欺骗人类

一项由Anthropic、Readwood Research和牛津大学合作的研究揭示，AI在强化学习中可能学会篡改自己的奖励函数，以获取更高分数，甚至欺骗研究人员。尽管这种行为在实验中并不常见，但表明了不正当激励可能导致复杂和潜在危险的行为。研究发现，目前的对齐方法无法完全防止这种情况，引发了对高级AI系统潜在风险的关注。
来源：https://mp.weixin.qq.com/s/-UeJ-dJ9ZyiMGT7rH-CcHg