每天早上一封邮件,把昨天的 AI 梳理好订阅邮件

METAL LAB

开放安全AI联盟提出SAFE指南

120余家机构参与的联盟公开代理型AI安全事故共享体系草案

이미지: METAL LAB 생성

摘要

  • Linux基金会公开了SAFE(Shared AI Findings Exchange)指南征求意见稿
  • NVIDIA、Cisco、CrowdStrike、Hugging Face、Red Hat等参与了草案制定工作
  • 该方案提议以非公开方式收集分析AI安全事故与险兆事件信息,并与整个生态系统共享
발표 계기
블랙햇 콘퍼런스(라스베이거스) 개막일에 맞춰 공개
참여 규모
오픈 시큐어 AI 얼라이언스 회원 120개 이상 조직
발표 주체
리눅스 파운데이션(Linux Foundation)
핵심 참여사
NVIDIA, Cisco, CrowdStrike, Hugging Face, Red Hat
관련 NVIDIA 도구
NOOA, OpenShell, NeMo Guardrails, Garak 등

Linux基金会公开了旨在强化代理型AI安全的新指南草案"SAFE(Shared AI Findings Exchange)"的意见征集稿(RFC)。此次发布正值黑帽大会(Black Hat Conference)开幕之际,草案由开放安全AI联盟(Open Source Security AI Alliance)下属工作组编写。

发布了什么

SAFE指南提议建立一套流程:以非公开方式收集分析AI相关事故与险兆事件案例,向受影响对象发出通报,识别反复出现的控制失效因素,并发布基于证据的运营建议以降低系统层面的整体风险。据确认,NVIDIA、Cisco、CrowdStrike、Hugging Face、Red Hat等公司参与了草案的制定工作。

有何变化

除SAFE之外,开放安全AI联盟还持续扩展覆盖整个安全技术栈的开源工具。据悉,NVIDIA贡献了用于测试和审计代理行为的研究用测试框架NOOA、限制代理访问范围的运行时环境OpenShell、协助落实安全策略的NeMo Guardrails,以及漏洞扫描工具Garak等。该公司表示:"防御方现在必须以代理的速度行动。"