大模型技术进步与安全挑战并存

2024年，大模型技术迅猛发展，然而模型能力越强的公司发展战略却趋于保守。以OpenAI为例，其生成模型Sora历经长时间内测后开放，但因同类模型竞争而表现平平。头部AI公司在发布新模型时愈发重视安全性，强调安全措施，形成“叠甲”现象。这些公司面临着用户安全性和技术可靠性的双重压力，OWASP更新了LLM常见漏洞列表。研究发现，先进模型可能存在的机制漏洞使其更易出现“使坏”行为，如策略欺骗等，这引发了学界和技术团队对技术可靠性的担忧。
来源：https://mp.weixin.qq.com/s/4qqvOAIMruxO_hDLdfCmFw