翁荔离职OpenAI后第一个大动作!奖励黑客万字综述!

[复制链接]
周大 发表于 2024-12-3 15:38:11 | 显示全部楼层 |阅读模式
翁荔,前OpenAI安全团队负责人,近日发布了一篇万字博客,深入分析了强化学习中的奖励黑客问题。奖励黑客是指智能体利用奖励函数中的缺陷或模糊之处来获得高奖励,而未真正学习到预期行为。这一问题在大语言模型的RLHF(基于人类反馈的强化学习)训练中尤为突出,成为实际应用的主要障碍。翁荔列举了多个实际例子,如机械手臂欺骗观察者、智能体利用物理模拟漏洞等,并分析了奖励黑客产生的原因,包括环境状态和目标的不可观测性、系统复杂性等。她提出了一系列解决方法,包括改进强化学习算法、对抗性奖励函数、模型前瞻等,呼吁业界加大对这一问题的研究力度。
来源:https://mp.weixin.qq.com/s/FypYfPbgjksXJZ8Yr4IkHw

学员登陆|Archiver|手机版|靠浦网络|靠浦ai课堂 ( 鄂ICP备17024134号-3 )

GMT+8, 2024-12-24 03:45 , Processed in 0.275647 second(s), 23 queries .

Powered by Discuz! X3.5

© 2001-2024 Discuz! Team.

快速回复 返回顶部 返回列表