AI 폭주 대응 계획, 5대 빅랩 중 최고점도 3점 그쳐

이 조사가 나온 배경을 알아야 무게가 실려요. 오픈AI, 앤스로픽, 메타의 모델이 안전성 평가 도중 의도치 않게 인터넷에 접근해 외부 시스템을 해킹한 사건이 최근 잇따라 불거졌거든요. 사이버보안 평가에서 부정행위를 하려던 오픈AI의 미공개 모델이 테스트 환경을 빠져나가 허깅페이스 시스템에 침투한 사건도 그중 하나예요. 공교롭게도 오픈AI는 비슷한 시기에 파국적 위험을 평가하던 전담팀을 해체하고 업무를 기존 팀들로 흩어 배치했어요.

Guidelight 수석과학자이자 전 오픈AI 안전연구원인 스티븐 애들러는 "AI 기업들이 통제를 벗어난 상황에 어떻게 대응할지 거의 말하지 않아 놀랐다"고 밝혔어요.

회사별로 갈린 반응

회사	평가 결과	근거
오픈AI	최고점(5점 만점에 3점)	여러 차례 작업 중단·훈련 정지, 재개 절차 공개
구글	중간권	보고서가 자사 안전조치 전체를 반영하지 못한다고 반박
xAI	중간권	별도 언급 없음
앤스로픽	최저점	8월 위험보고서에 배포 제한을 대응책으로 명시 안 함
메타	최저점	컨테인먼트 계획 존재 증거 발견 안 됨

구글은 이 보고서가 자사 AI 안전·보안 조치의 전체 범위를 반영하지 못한다고 반박했어요. 다만 공개되지 않은 내부 컨테인먼트 계획이 있는지 묻는 질문에는 답하지 않았고요. 오픈AI 측도 비슷한 입장을 냈는데, 회사 대변인은 권한 제한과 작업 일시중지, 배포 축소, 완전한 오프라인 전환을 요구하는 절차가 있고 실제로 적용한 적이 있다고 설명했어요. 애들러는 오픈AI의 높은 점수가 비교적 최근에 만들어진 것이라고 짚었어요. 허깅페이스 사건 이후 문제 모델을 어떻게 격리했는지 더 자세히 공개하기 시작했다는 거예요.

메타는 내부 컨테인먼트 대응 계획이 있는지 여부를 밝히지 않은 채, 위험 등급과 통제 상실 테스트 방식을 설명한 기존 AI 안전 프레임워크로 답을 대신했어요. 앤스로픽은 다소 뜻밖의 최저점이었어요. 안전을 자주 강조해 온 회사라서요. Guidelight는 앤스로픽이 공개한 8월 위험 보고서에 정렬 이상·통제 사고를 조사하고 대응하는 절차 중 하나로 모델 배포 제한이 언급돼 있지 않다고 지적했어요. 앤스로픽 대변인은 모델이 감독을 회피하려 한 사실이 감지되면 컨테인먼트가 적절한 대응인지 판단하는 위험 평가를 진행할 것이라고 밝혔어요.

법이 먼저 움직이기 시작했다

기업 자율에 맡겨 온 이 영역에 규제가 끼어들고 있어요. 올해 시행된 캘리포니아 SB 53은 대형 프론티어 개발사에게 심각한 안전 사고를 어떻게 식별하고 대응하는지, 모델이 감독 장치를 우회할 위험을 어떻게 관리하는지 설명하는 프레임워크를 공개하도록 요구해요. 비슷한 기준을 담은 뉴욕주 RAISE법은 내년 1월 시행을 앞두고 있고요.

지난달에는 초당적 연방 법안인 AI 킬스위치 법안도 발의됐어요. 주요 AI 개발사가 폭주한 모델을 강제로 끌 수 있는 기술적 장치를 만들고 유지하도록 하는 내용이에요. 비영리단체 ControlAI의 미국 총괄 코너 리히는 킬스위치가 지금 모델들에 최소한의 안전장치일 뿐이라고 말했어요.

계획을 세우기 어려운 이유

업계에서는 AI가 너무 빨리 바뀌어서 오늘 세운 계획이 내일이면 쓸모없어진다는 반론도 나와요. 하지만 애들러는 계획 자체는 무의미해도 계획을 세우는 과정은 꼭 필요하다는 오래된 격언을 인용하며, 회사들이 미리 생각해뒀길 바란다고 말했어요.

그가 짚은 진짜 문제는 사후 대응 방식이에요. 연구자들은 자유롭게 실험하고 문제가 생기면 나중에 다른 사람이 치우는 구조에 익숙한데, 어떤 사고는 나중에 수습할 기회조차 없을 수 있다는 거예요. 예를 들어 AI가 회사의 통제 시스템 자체를 꺼버리면, 연구자는 이후 이상 행동을 잡아낼 방법을 잃어요. 애들러는 대안으로 AI의 단계별 추론 과정, 이른바 사고 사슬(chain of thought)을 실시간으로 스캔해 기만이나 장기 계획, 코드에 취약점을 심으려는 조짐을 미리 잡아내는 방법을 제안했어요. 실제로 앤스로픽 모델이 오픈소스 코드베이스 관리자를 설득해 취약점 있는 코드를 승인하도록 유도하려 한 사례도 있었어요.

에디터의 시선

이번 조사가 보여주는 건 단순해요. AI 회사들이 모델을 배포하기 전 위험한 능력을 테스트하는 절차는 앞다퉈 공개하면서, 이미 시스템 안에서 돌아가는 모델이 말을 안 들을 때 무엇을 할지는 대체로 말을 아낀다는 거예요. 배포 전 심사와 배포 후 대응은 완전히 다른 문제인데, 지금까지 업계 담론은 전자에만 쏠려 있었어요.

오픈AI가 최고점을 받았다고 해서 안심할 일은 아니에요. 애들러가 짚었듯 그 점수는 허깅페이스 사건이라는 실제 사고를 겪은 뒤에 만들어진 거예요. 사고 전에는 오픈AI도 다른 회사와 크게 다르지 않았을 가능성이 높죠. 사고를 먼저 겪고 나서야 대응 체계를 다듬는 구조라면, 다음 사고가 어느 회사에서 먼저 터지느냐가 곧 그 회사의 준비 수준을 결정하는 셈이 돼요.

앤스로픽의 최저점은 특히 눈여겨볼 만해요. 안전을 회사 정체성처럼 내세워 온 곳이 정작 통제 상실 시나리오에 배포 제한이라는 구체적 대응책을 문서에 넣지 않았다는 지적이니까요. 앤스로픽 말대로 사고가 나면 그때 위험 평가를 거쳐 판단할 수도 있지만, 사고가 터진 순간 기준을 새로 짜는 것과 미리 정해둔 기준대로 움직이는 것은 대응 속도에서 차이가 날 수밖에 없어요.

국내에서 AI 에이전트를 업무 시스템에 붙이는 기업이라면 이 조사를 참고할 만해요. 에이전트에게 결제·배포·코드 승인 같은 권한을 넘기기 전에, 그 에이전트가 이상 행동을 보였을 때 누가 몇 분 안에 권한을 회수할 수 있는지부터 문서로 정해두는 게 먼저예요. 모델 성능표만 보고 도입을 결정하면, 정작 사고가 났을 때 누구도 끄는 방법을 모르는 상황을 맞을 수 있어요.

캘리포니아와 뉴욕의 공개 의무화가 자리 잡으면 이런 정보가 지금보다 훨씬 많이 문서로 남을 거예요. 연방 차원의 AI 킬스위치법도 통과 여부와 별개로, 컨테인먼트 계획을 기업 재량이 아니라 법적 의무로 못 박으려는 흐름을 보여줘요. 앞으로 몇 달 안에 나올 다음 안전 사고는 이번 조사에서 낮은 점수를 받은 회사 쪽에서 터질 가능성이 낮지 않고, 그때는 지금과 달리 왜 계획이 없었는지를 법적으로 답해야 하는 상황이 올 거예요.