PsySafe:跨学科视角下的Agent系统安全性研究
上海人工智能实验室与大连理工大学、中国科技大学合作,研究大模型安全,特别是智能体安全。随着大型语言模型的广泛应用,智能体系统可能构建微型社会,但其安全性引发关注。研究团队提出了PsySafe框架,通过心理评测预测危险行为,并设计了输入端、心理和角色防御策略来应对安全问题。研究显示,心理评测可有效预测Agent的危险倾向。来源:https://mp.weixin.qq.com/s/zKg5JDWKrGoKyCuZ7VtFoA
页:
[1]