컨테인먼트 계획

컨테인먼트 계획은 AI가 사람의 통제를 벗어나려는 낌새를 보였을 때 회사가 무엇부터 차단하고, 누구는 계속 써도 되고, 언제 완전히 전원을 내릴지 미리 정해둔 대응 절차예요.

원자력 발전소의 비상 정지 매뉴얼을 떠올리면 이해가 쉬워요. 이상 신호가 뜨면 어떤 밸브부터 잠그고, 어떤 조건에서만 작업을 계속할 수 있고, 최종적으로 언제 전체 가동을 멈출지를 사고가 나기 전에 문서로 정해두는 것이죠. AI 회사도 모델이 예상 밖의 행동을 하기 시작했을 때를 대비해 이런 매뉴얼을 갖추고 있어야 한다는 게 이 개념의 핵심이에요.

계획이 제대로 갖춰졌는지는 세 가지로 가늠할 수 있어요. 시스템의 내부 행동을 얼마나 꾸준히 기록하고 감시하는지, 이상 행동이 급증하면 즉시 작업을 멈추는 절차가 있는지, 그리고 회사 밖의 독립된 제3자가 이 안전장치를 점검하고 결과를 공개하는지예요. 이 셋이 없으면 문제가 터진 다음에야 대응책을 찾게 될 위험이 커져요.

기사는 "Guidelight가 오픈AI, 앤스로픽, 구글, 메타, xAI 다섯 곳을 대상으로 '컨테인먼트 계획' 준비 수준을 평가했다"고 전해요. 여기서 오해하기 쉬운 점은 이 계획이 AI가 실제로 폭주한 뒤 쓰는 사후 대응이 아니라, 그런 상황이 오기 전에 회사가 미리 공개해 둬야 하는 사전 문서라는 점이에요. 조사에서 최고점을 받은 오픈AI도 5점 만점에 3점에 그쳤고, 앤스로픽·메타는 이런 계획이 있다는 증거조차 찾기 어려웠어요.