周大 发表于 2025-6-28 15:45:17

苹果联合华盛顿大学研发AI风险分类法,助智能体识别高风险操作并请求用户确认

苹果与华盛顿大学研究人员联合发表论文,探索如何提升AI智能体在执行任务时的风险判断能力。随着AI逐步被用于执行如在线购物、订票等复杂操作,其误触高风险动作(如删除账户)的潜在威胁引发关注。研究提出一种多维度分类法,用于标注App操作的风险属性,如是否可撤销、是否涉及隐私或费用变动。实验显示,即使引入该分类法并测试包括GPT-4在内的主流模型,其风险预测准确率最高也仅约58%,AI仍易高估或低估风险。研究强调,未来AI需在“有用性”与“安全性”之间取得平衡,避免因频繁确认影响体验,同时也应更深入理解用户操作的真实含义。
来源:https://tech.ifeng.com/c/8kXvr2hL0du
页: [1]
查看完整版本: 苹果联合华盛顿大学研发AI风险分类法,助智能体识别高风险操作并请求用户确认