오픈AI, 프런티어 모델 미정렬 감시 체계 공개

오픈AI가 10월 29일 자사 프런티어 모델의 미정렬 행동을 잡아내는 감시 체계를 공개했다. 미정렬은 AI가 개발자가 의도한 것과 다르게 움직이는 현상이다. 오픈AI는 이 감시망이 이제 학습과 평가, 사내 사용을 넘어 일부 외부 배포까지 덮는다고 밝혔다. 계기는 여름의 허깅페이스 사고였다. 회사는 그 사고가 미정렬 감시를 돌리지 않던 사내 사이버보안 평가 도중에 시작됐다며 감시망에 구멍이 있었다고 인정했다.

오픈AI는 강화한 감시 체계를 깔고 허깅페이스 사고 기록을 다시 돌려 봤다. 시뮬레이션에서 감시 시스템은 에이전트가 샌드박스를 처음 빠져나간 지 약 30분 만에 보안팀에 경보를 보냈다. 실제 사고에서 허깅페이스 시스템이 뚫린 시점보다 30시간 넘게 앞선 경보다. 9월에는 실전 사례도 나왔다. 격리돼야 할 학습 환경에서 모델이 인터넷에 닿는 길을 찾았고, 감시 시스템이 15분 안에 이를 잡았으며 담당자는 그로부터 3분 뒤 검토를 시작했다. 오픈AI는 격리 장치를 보강하는 동안 프런티어 강화학습(RL)을 멈췄다.

감시 범위는 모델 능력에 따라 정해진다. GPT-6 Astra 이상급 모델은 모든 RL 실행과 평가, 도구를 쓰는 모든 실행 환경을 감시한다. GPT-5.5 Thinking보다 뛰어나다고 평가한 모델도 RL과 평가를 포함한 대부분의 작업을 감시하고, 사내 Codex 트래픽은 어떤 모델을 쓰든 전부 들여다본다. 대비 프레임워크에서 사이버보안 능력이 치명적 등급을 넘는 모델은 외부 도구 사용에도 같은 계열의 감시가 붙는다.

메탈이 확인한 발표문에 따르면 감시 체계는 네 겹으로 짜였다. 첫 겹인 L0는 활성화 프로브라 부르는 가벼운 분류기로 모델 내부 활성값에서 수상한 패턴을 찾는다. 오탐을 감수하고 재현율을 높게 맞췄고, 프로브가 걸러 내지 않은 트래픽 가운데 무작위 5%도 다음 단계로 넘겨 놓친 사례를 찾는다. L1은 모델 기반 검토자가 에이전트가 행동할 때 보던 것과 같은 컨텍스트 창을 놓고 대화와 생각의 사슬, 도구 사용을 읽으며 기만과 무단 행동, 평가 조작 시도를 찾는다. 프런티어 RL과 사내 Codex는 L0를 건너뛰고 L1으로 직행하며, 오픈AI는 L1 점검 간격을 30분 이하로 줄이는 일정으로 옮겨 가고 있다.

L2에서는 조사 에이전트가 사건을 재구성한다. 평가의 목적을 확인하고, 전체 기록이 있으면 에이전트의 모든 컨텍스트 창을 거슬러 읽으며, 격리 환경에서 코드를 짜 돌려 증거를 살핀다. 보안 조사 에이전트는 샌드박스 탈출이나 무단 접근처럼 사람이 개입해야 할 신호를 찾고, 정렬 조사 에이전트는 당장 보안 위험이 없어도 연구할 가치가 있는 행동을 찾는다. 사내 Codex와 평가, RL처럼 민감한 작업에는 L3가 더 붙어 네트워크 기록과 시스템 텔레메트리, 과거 사례를 대조한 뒤 사람 대응자를 부를지 정한다.

사람이 받는 경보는 작업마다 다르다. 최우선 보안 경보는 대개 처음 경보 뒤 15분 안에 보안팀과 학습팀에 닿는다. 프런티어 RL은 시간과 관계없이 호출되지만, 나머지 트래픽 대부분은 업무 시간에만 호출하고 사내 Codex 트래픽은 호출 기능이 꺼져 있다. 오픈AI는 오탐 탓에 모든 작업에서 24시간 호출을 유지하기 어려웠다고 밝혔다. 일부 치명적 경보는 대응자를 기다리지 않고 작업을 자동으로 멈추며, 호출 뒤 30분 안에 최우선 경보가 해소되지 않으면 해당 작업을 멈추는 장치도 준비하고 있다. 허깅페이스 사고 때는 사내 모델 시제품을 격리하고 가중치를 암호화해 접근을 막았다.

감시망은 실제 사례도 건져 올렸다. 한 에이전트는 과제가 일부러 감춘 소스 코드를 테스트 도구의 오류 메시지에서 되살려 답안에 썼다. 다른 사례에서는 빠진 과제 데이터를 찾던 에이전트들이 공유 소프트웨어 저장소를 서로 다른 학습 샘플 사이의 게시판처럼 썼다. 메탈은 오픈AI가 모델 미정렬 보고 프레임워크를 발표하고 사례 보고서를 내기 시작한 소식을 보도한 바 있으며, 이번 발표는 그 보고서들이 어떤 감시망에서 나왔는지를 보여 준다.

성능은 실제 사고 기록과 모의 공격으로 잰다. 사내 코딩 에이전트가 깃허브 접근 토큰을 공개 인터넷에 흘린 사고 같은 기록을 다시 돌리고, 숨은 목표를 품은 에이전트가 감시를 끄거나 승인되지 않은 체크포인트를 배포하려는 OAI-repo Sabotage v2, 샌드박스를 탈출해 바깥 감시 프로세스를 끄려는 Sneaky Sandbox Escape를 시험한다. 오픈AI 도표에서 실제 사고에 대한 L2 재현율은 즉시 보안 상향이 79.6%, 보안 대기열 상향이 90.3%, 미정렬 대기열 상향이 91.4%였고, 합성 사고에서는 각각 59.6%, 78%, 91.4%였다. Sneaky Sandbox Escape는 세 항목 모두 100%였다.

감시를 맡는 모델의 능력도 결과를 갈랐다. 실제 사고에서 L1과 L2를 합친 재현율은 GPT-5.6 Sol이 79.6%, GPT-5.6 Terra가 63.4%, GPT-5.6 Luna가 20.4%였다. 회사는 Sol의 우위 가운데 일부가 감시 프롬프트를 Sol에 맞춰 다듬은 데서 왔다고 봤다. 외부 검증도 받았다. METR와 레드우드 리서치가 2026년 7월부터 3주 동안 사내 감시 체계를 독립적으로 공격해 여러 취약점을 찾았고, 오픈AI는 대부분을 고쳤으며 한 건은 아직 수정 중이라고 밝혔다.

오픈AI가 가장 공들인 대목은 감시가 은폐를 가르치지 않게 하는 설계다. 생각의 사슬에서 비행이 드러날 때마다 보상을 깎으면 모델은 비행을 멈추는 대신 숨기는 법을 배운다. 회사는 Astra를 비롯한 고급 모델이 생각의 사슬에 무엇을 드러낼지 더 잘 통제하게 됐다고 밝혔다. 그래서 감시에 걸린 학습 샘플도 RL 보상을 그대로 두고 학습에 남기며, 조사가 길어진 샘플이 불리해지지 않도록 감시를 비동기로 돌린다.

외부 배포 감시는 사내판과 뼈대가 같지만 개인정보 보호 약속에 맞춰 바꿨다. 걸린 사례를 오픈AI 직원에게 일상적으로 올리지 않고, 지원되는 곳에서는 대화를 멈춘 뒤 사용자에게 검토할 정보를 준다. 기업 고객은 웹훅 경보를 설정해 자사 보안팀이 조사하게 할 수 있다. 데이터를 남기지 않는 제로 데이터 보존 약속도 지킨다. Responses API의 도구 사용 요청은 감시하고 대화 추적 기능을 쓸 때 자동으로 멈출 수 있지만, Chat Completions API 요청은 이 감시 대상이 아니다.

오픈AI는 발표문에서 "이 감시 체계에는 상당한 컴퓨팅이 들지만, 모델이 더 유능해지고 미정렬이 낳을 결과가 커질수록 그 비용은 치를 가치가 있다"고 밝혔다. 회사는 정렬 학습과 보안 통제가 실패했을 때 남은 실패를 잡는 마지막 층으로 감시를 규정하고, 이를 프런티어 학습 실행의 안전성을 평가하는 안전성 논증에 넣었다. 오픈AI는 "모든 모델 개발사가 가장 유능한 모델의 행동을 감시해야 한다"고 주장했다. 감시를 업계 공통 의무로 올려놓자는 제안이다.