鬼手操控着你的手机？大模型GUI智能体易遭受环境劫持

上海交通大学与Meta合作研究发现，多模态GUI Agent在复杂环境中易受干扰，导致行为偏离用户目标。实验表明，即使是强大的API模型也存在忠实性问题，需增强环境感知与抗干扰能力。研究强调了多模态代理忠实性的重要性，并提出环境注入攻击方法。
来源：https://mp.weixin.qq.com/s/W4J9u4qgzuXogxOLspVIHg