OpenAI发布最新大模型安全对齐奖励方法——RBR

随着ChatGPT等AI工具的普及，保障其输出安全成为关键。传统的人类反馈强化学习RLHF方法面临高昂成本和个人偏见问题。为此，OpenAI研发出基于规则奖励RBR的方法，通过设定具体规则指导AI行为，实现细粒度控制。实验显示，相比人类反馈训练的模型，RBR训练的模型在确保安全性的同时减少了过度拒绝，F1分数高达97.1。
来源：https://www.chinaz.com/2024/0728/1632211.shtml