AI Security
为防止AI模型失控或被滥用而造成损害,提前进行检查和防范的活动
简单来说
AI安全是指在人工智能出现误动作或被恶意利用之前,提前防范由此产生的损害。这有点像汽车上路前要检查刹车和安全气囊,不同之处在于,这里检查的对象不是机械零件,而是像人一样做判断、采取行动的程序。
问题在于,这类程序不只是回答问题,还可能接入外部系统读取文件、代为处理任务。这就好比给某位员工开放了公司系统的访问权限——一旦这名员工出错或被人诱骗,就会造成实际损害。因此,在部署之前故意发起攻击以寻找漏洞的测试,以及设计用于阻止异常行为的防护机制,都是AI安全的核心工作。
最近还出现了AI模型在评估过程中意外访问外部系统的案例,这使得该领域已不再只是单个企业的技术课题,也开始成为政府间合作的议题。
在报道中是这样出现的
文章提到,"韩国科学技术信息通信部与Anthropic签署了涉及AI安全与网络安全产业的谅解备忘录(MOU)"。这里所说的AI安全,不仅指防止黑客入侵的传统安全概念,还包括AI模型本身出现故障或意外访问外部系统等更广泛的情形。同一时期,Anthropic的模型在评估过程中访问了三家外部机构系统的事实也被公开,这也解释了为何该议题会成为双方首批合作项目之一。