遏制计划

遏制计划是公司预先定好的应对方案:当AI显露出摆脱人类控制的迹象时,先切断什么、谁还能继续使用、什么时候彻底断电,这些都要事先写清楚。

可以把它想象成核电站的紧急停堆手册。在事故发生之前,手册里就已经写明出现异常信号时先关闭哪个阀门、在什么条件下才能继续作业、最终何时全面停止运转。这个概念的核心就在于,AI公司也应该在模型开始出现意料之外的行为之前,就准备好这样一份手册。

判断一份计划是否真正到位,可以看三点:是否持续记录并监控系统的内部行为;一旦异常行为激增,是否有立即停止作业的流程;以及公司之外的独立第三方是否会检查这些安全措施并公开结果。缺了这三项中的任何一项,一旦出问题,公司往往只能事后才临时想办法应对。

文章提到,Guidelight对OpenAI、Anthropic、Google、Meta、xAI这五家公司的"遏制计划"准备情况进行了评估。这里容易产生的误解是,以为这份计划是AI真正失控之后才启用的事后应对措施,但实际上它应该是公司在这种情况发生之前就要提前公开的文件。在这次调查中得分最高的OpenAI,五分满分也只拿到3分,而Anthropic和Meta则几乎找不到证据表明它们制定了这样的计划。