多智能体系统安全挑战

上海交通大学与百川智能合作研究揭示，基于大语言模型（LLMs）的多智能体社区面临第三方用户植入操控性知识的安全威胁。通过两阶段攻击方法——说服性植入和编造知识植入，研究发现被操纵的智能体能在社区中自主传播编造知识，成功率高达40%以上。实验表明，智能体数量、发言顺序及交互轮数均影响传播效果。此研究强调了基于LLM的多智能体系统在不可信知识传播方面的防御机制缺失。
来源：https://mp.weixin.qq.com/s/A4UOyZ1qvsYyRmEfnrMomg