断路机制

断路机制是指:当AI反复做出某种问题行为、累积到一定次数后,系统会自动完全阻止这种行为,直到人工确认安全并解除限制为止。

可以联想家里的电闸。一旦电流突然变大,电闸会自动跳闸切断电源,在起火之前就先行阻断。必须有人查明原因后手动重新合上闸,电才会恢复。AI系统里的断路机制原理相同。监控装置多次捕捉到危险信号后,系统会自行锁死那一类行为,直到人工介入判断没问题为止。

它不是被标记一次就立即触发,而是要等被标记的次数累积到一定程度才会启动,这一点类似电闸设定的过载阈值,而不是对任何微小波动都反应。AI公司内部到底具备多少这类装置,外界很难看清,而最近一项非营利组织的评估中,这一项被用作区分各公司安全管理水平的标准之一。

报道中提到,"当被标记的问题次数累积到一定数量后,系统将完全阻止该受限行为,直到人工判断安全并解除限制为止"这一标准条款,被称为断路机制。容易被误解的地方在于:这不是对单次异常行为立即反应的警报,而是在问题案例累积之后才启动的阻断装置。在这一项评估中,Anthropic和OpenAI获得5分中的2到3分,xAI获得2分,Google获得1分,Meta获得0分。