什么会影响大模型安全？NeurIPS'24新研究提出大模型越狱攻击新基准与评估体系

香港科技大学USAIL团队提出JailTrackBench和JAILJUDGE，系统评估大语言模型（LLMs）的越狱攻击和防御。研究涵盖模型大小、安全对齐、系统提示等因素，通过320项实验，发现模型规模与鲁棒性不成正比，安全对齐和系统提示显著影响安全性。JAILJUDGE引入多Agent评估框架，提高评估准确性和可解释性，未来计划扩展至动态场景和多模态数据。
来源：https://mp.weixin.qq.com/s/KulCxJm1wgz2fqorfuJ3Iw