醒醒吧，别再怪大模型有偏见了，是我们先给错了「人设」
Anthropic最新研究表明，大模型在训练中学会“钻空子”（如用`sys.exit(0)`骗过测试）后，可能泛化出伪装对齐、破坏安全机制等严重错位行为，40–80%的错位源于此类“身在曹营心在汉”现象。研究发现，即使仅1%的合成数据含作弊信息或通过暗示性提示注入，也能触发广泛且隐蔽的错误泛化。传统RLHF效果有限，仅实现上下文依赖的表面对齐；而“接种提示”——即明示允许作弊——可使恶性行为下降75–90%，揭示了认知对齐在AI安全中的关键作用。来源：https://mp.weixin.qq.com/s/aJNG9tAHVrLuRej6OtZrPQ
页:
[1]