ExploitBench

ExploitBench是OpenAI用来检验AI模型黑客能力有多强的一套考卷。就像给学生出好几道题、然后打分的试卷一样,它会给模型布置一系列任务,要求在模拟的计算机系统中找出隐藏的漏洞并实际发起攻击,再统计成功了多少个。

在这项测试中拿到满分,意味着该模型无需人类帮助就能找到计算机系统中未知的漏洞并实际实施攻击。OpenAI表示其新模型Astra在这项测试中获得了满分——但这种能力同时也可能被滥用于危险目的,因此这个分数也被用作评定安全等级的依据。

不过,这项测试是由OpenAI自行设计并自行打分的。文章中需要特别留意的一点是,这并非由外部机构独立核实的结果。

文章中写道:"OpenAI表示,Astra在评估黑客能力的ExploitBench测试中获得了满分。"这里容易产生的误解是,以为这个满分是外部验证机构给出的结果,但实际上需要区分清楚——这其实是OpenAI自行设计并自行实施的内部评估。