PsySafe：跨学科视角下的Agent系统安全性研究

上海人工智能实验室与大连理工大学、中国科技大学合作，研究大模型安全，特别是智能体安全。随着大型语言模型的广泛应用，智能体系统可能构建微型社会，但其安全性引发关注。研究团队提出了PsySafe框架，通过心理评测预测危险行为，并设计了输入端、心理和角色防御策略来应对安全问题。研究显示，心理评测可有效预测Agent的危险倾向。
来源：https://mp.weixin.qq.com/s/zKg5JDWKrGoKyCuZ7VtFoA