OWASP Agentic Top 10
为让能自主判断、自主行动的AI智能体安全使用而整理出的十大风险清单
简单来说
OWASP Agentic Top 10 是一份清单,整理了让能够自主判断、自主行动的AI程序安全运行时需要留意的十大风险。长期以来一直在整理网站和应用安全检查清单的非营利组织OWASP,针对AI如今已经能替人发邮件、删文件、甚至完成支付的时代,推出了这份新清单。
打个比方,这就像是提前写好的安全须知,用来防范把公司卡和办公室钥匙一股脑交给新员工时可能出的事故。扮演新员工角色的AI智能体,可能会把别人伪造的指令误当成真正上司的话来执行,可能会一直握着超出需要的权限不放,也可能被人偷偷篡改其记住的信息——清单把这些情况逐条列了出来。
与其说这是一份完成的定论,不如说它更像是一份还会不断修改的草案。它的作用是充当一张参考地图,告诉那些开发或引入智能体的人应该提前排查哪些问题。
亲手试一试
如果你正在使用编程智能体或工作用AI智能体,可以这样提问:'帮我检查一下,这个智能体在访问外部工具或账户时,是否存在权限设置过于宽泛的地方。'或者:'看看这个智能体是否可能把来自用户指令之外的数据(比如邮件、文档、网页)中的内容误当成真实指令来执行。'可以照着清单上的风险项逐条提出检查请求。
