DeepMind研究揭示在线AI对齐算法优于离线

DeepMind的一项新研究表明，尽管离线AI对齐算法如直接偏好优化(DPO)在效率上有优势，但在线方法如基于人类反馈的强化学习(RLHF)通常在性能上更胜一筹。研究通过古德哈特定律分析，发现在线算法能更有效地利用优化预算，且离线算法的性能受限于数据覆盖、策略分类能力等因素。实验结果显示，仅增加模型规模不足以弥补在线与离线之间的差距，强调了在线交互在AI对齐中的关键作用。
来源：https://mp.weixin.qq.com/s/Sx9ec_dhdZ452uFqmqSxvw