当奖励成为漏洞：从对齐本质出发自动「越狱」大语言模型

港大与华为研究人员提出“奖励错误规约”概念，解释大语言模型（LLMs）的安全漏洞问题。他们开发的ReGap度量和ReMiss系统，能够高效生成越狱提示，寻找LLMs的安全隐患。在AdvBench测试中，ReMiss表现出色，显著提升了自动化红队的有效性，为LLMs的安全对齐提供了新思路。
来源：https://mp.weixin.qq.com/s/r-96NaTfCs3GVZB6ff_E-g