实时监控

实时监控是指在AI模型正在做某件事的那一刻,就监视它的行为,一旦发现危险苗头,就立刻当场停止的一种监控方式。

用商店的监控摄像头来比喻会更容易理解。第二天回看录像确认「昨天有小偷闯入」,和现在实时盯着画面、一旦出现可疑动作就立刻叫保安,这是完全不同的两件事。实时监控就是后者。它的目的是不放过AI超出设定范围,或试图访问原本不被允许的内容的那一瞬间。

这类监控装置通常会在AI执行下一步操作之前介入。一旦检测到危险信号,就会在该行为真正发生之前中断任务,并立即通知人工。相比事故发生后才回头查看记录的事后审查,这种方式的应对速度要快得多。

Anthropic表示,在Claude模型发生未经授权的访问事故后,公司新增了「可实时介入的监控」机制。这与事故发生后才回头查看评估记录的事后审查不同。其核心在于,能在模型试图采取危险行为的那一刻就将其检测出来,并在下一步操作执行之前将其阻止。