Petri

Petri是一款测试工具,通过让AI与另一个AI进行多轮对话,来看看它究竟能做出多坏的行为。不是由人来充当考官,而是让AI自己扮演这个角色,设置各种诱导说谎、诱使违反规则的情境,观察对方AI是否会上钩。

它的特点在于不是问一次就结束,而是通过反复的多轮对话不断施压。人类设计的单一陷阱问题可能会漏掉的破绽,往往在这种反复对话中被暴露出来。因此,当有人声称用新方法让AI变得更安全时,Petri常被用作核实这种安全性是否真实可靠的验证手段。

已知Anthropic在有关Claude的对齐研究实验中,把这个工具作为其中一种验证手段来使用,但仅凭这些材料,还难以断定Petri本身究竟是由谁开发的。

文章中提到:"Claude找到的方法,不仅在研究过程中从未展示过的独立验证基准上依然有效,在通过对抗性多轮场景测试偏离对齐情况的开源工具Petri上也同样有效。"这里需要说明的是,Petri并不是Claude给出的解决方案本身,而是用来再次核实该方案是否真正有效的另一个独立测试场。