OpenAI、Anthropic、DeepMind联手发文:现有LLM安全防御不堪一击
OpenAI、Anthropic 与 Google DeepMind 联合研究表明,当前大语言模型的安全防御评估存在严重不足。研究团队通过构建通用自适应攻击框架,在12种主流防御方法上实施测试,涵盖越狱与提示注入两类风险。结果显示,无论基于提示优化、对抗训练、过滤检测还是秘密机制,多数防御在自适应攻击下的攻击成功率均超过90%,甚至达到100%,远高于其原论文宣称的接近零。研究强调,现有静态评估方式具有误导性,未来必须采用更强、更动态的攻击方法来验证防御的有效性,以提升模型安全性。来源:https://mp.weixin.qq.com/s/FDtx56pwLkcgob2_YueLmg
页:
[1]