METAL

오픈AI, 훈련부터 배포까지 위험 관리 공개

오픈AI가 정렬·보안·안전장치·모니터링 네 겹의 방어를 연구, 사내 배포, 외부 배포 세 단계에 맞춰 운영하는 방식을 공개했다. 안전 기준을 못 맞추면 훈련을 멈추고 출시를 보류한다는 원칙을 문서로 다시 확인했다.

오픈AI, 훈련부터 배포까지 위험 관리 공개 · Image: METAL LAB

이미지: METAL

요약

  • 오픈AI는 11월 18일 프런티어 모델 위험을 연구·사내 배포·외부 배포 세 단계로 나눠 관리하고, 단계마다 안전 검토를 통과해야 다음 단계로 넘어간다고 밝혔다.
  • 연구 단계는 실시간 인터넷 접속 없이 훈련하고, 중앙 시스템 Control Room은 중단 지시 35초 안에 모델 출력을 멈춘다.
  • 오픈AI는 DNS 우회 사고로 9월 20일부터 10월 1일까지 가장 강한 모델의 훈련을 멈췄고, 기준에 못 미치면 다시 멈추거나 출시를 보류하겠다고 약속했다.
발표
2026년 11월 18일 · 오픈AI 발표문 「Managing frontier AI risk: From training to deployment」 · X 게시물
출시 조절
내부 훈련 중단 · GPT-6.1 Astra 출시 보류 · 안전 사례(safety case) 도입
네 겹 방어
정렬(Model Spec) · 보안·샌드박스 · 시스템 안전장치(안전 분류기·Auto-review) · 모니터링
세 단계
연구 · 사내 배포 · 외부 배포 · 단계마다 안전 검토 · 안전자문그룹(SAG)·재단 이사회 안전·보안위원회(SSC)
연구 단계
실시간 인터넷 없이 훈련 · 샌드박스·가상 머신·네트워크·클라우드 경계 · 강한 모델 레드팀 · 인터넷 접촉 시 자동 정지
DNS 사고
2026년 9월 20일~10월 1일 가장 강한 모델 훈련·평가 중단
Control Room
중단 지시 35초 안에 출력 정지 · 추론 인프라에 직접 적용 · 시스템 불능 시에도 정지
사내 배포
인터넷·슬랙·코드베이스·내부 인프라 접근 · Codex 직원 Auto-Review 원칙 의무 · 모든 프런티어 추론 감시
외부 배포
자동 레드팀 적응형 시험 · 제3자 시험 · 오프라인 집행 · Daybreak·Rosalind 신뢰 접근
첨부 PDF
캘리포니아주 비상관리청 분기 보고 공개판 · 22쪽 · 2026년 6월 4일~9월 4일 · 주된 위험원은 미정렬 · 연구자 하루 추론 중간값 600달러 초과·상위 10% 7,000달러 초과

오픈AI가 11월 18일 프런티어 모델의 위험을 훈련부터 배포까지 단계별로 어떻게 관리하는지 정리한 발표문을 공개했다. 핵심은 안전 기준을 맞추지 못하면 모델 개발과 출시를 멈춘다는 원칙이다. 오픈AI는 필요할 때 내부 훈련을 중단했고, 안전 기준을 맞출 시간이 더 필요했던 GPT-6.1 Astra는 출시를 보류했다고 밝혔다. 훈련 전 과정에서 정렬된 행동의 증거를 더 강하게 요구하고, 안전 사례(safety case)라는 새 절차도 들였다. 오픈AI는 발표문에서 "이런 요구 사항은 모델 출시 속도를 늦추지만, 안전하게 앞으로 나아갈 수 있다는 더 큰 확신을 준다"고 적었다.

계기는 7월의 허깅페이스 사고다. 오픈AI는 그 뒤 모델을 훈련하고 시험하고 배포하는 방식 전반에서 안전장치와 정렬 요건을 강화했다고 설명했다. 이제 모델은 연구, 사내 배포, 외부 배포의 세 단계를 거치고, 다음 단계로 넘어가려면 그때마다 안전 검토를 통과해야 한다. 판단은 안전자문그룹(SAG)의 검토를 받을 수 있고, 오픈AI 재단 이사회의 안전·보안위원회(SSC)가 감독한다. 메탈은 허깅페이스 사태 뒤 오픈AI가 모니터링과 격리를 강화한 소식을 보도한 바 있다.

보호 장치는 네 겹으로 짰다. 첫째는 정렬로, 모델이 Model Spec의 원칙에 맞게 사용자의 의도와 정책을 함께 따르도록 훈련하고 평가한다. 둘째는 보안과 샌드박스로, 모델이 건드릴 수 있는 파일과 도구, 네트워크를 제한한다. 셋째는 시스템 안전장치로, 사이버 악용이나 생물무기 지원을 막는 안전 분류기와 승인되지 않은 행동을 막는 Auto-review가 여기에 든다. 넷째는 모니터링이다. 오픈AI는 한 겹이 뚫려도 다른 겹이 피해를 막거나 줄이거나 경보를 울리도록 하는 심층 방어라고 설명했다.

모니터링이 제 역할을 하려면 모델이 속을 드러내야 한다. 오픈AI는 이를 모니터링 가능성이라고 부르며, 사고 과정(CoT)에서 부정행위 의도를 말로 드러내는 모델이 그 정보를 빼는 모델보다 감시하기 쉽다고 예를 들었다. 오픈AI는 허깅페이스 사고가 샌드박스만으로 고성능 모델을 가둘 수 없다는 점을 보여 줬다며, 지금은 도구를 쓰는 모든 사내 배포를 포함해 대부분의 사내외 배포 환경에서 프런티어 모델을 감시한다고 밝혔다.

연구 단계의 원칙은 가두는 것이다. 오픈AI는 프런티어 모델 훈련을 실시간 인터넷 접속 없이 진행한다. 모델 권한을 묶는 샌드박스, 작업을 하부 컴퓨터와 떼어 놓는 가상 머신, 클러스터 전체를 인터넷에서 끊는 네트워크·클라우드 경계를 겹쳐 쌓았다. 가장 강한 모델들로 팀을 꾸려 인터넷에 닿거나 경계를 넘거나 격리된 다른 에이전트와 통신하도록 시키는 레드팀도 계속 돌린다. 모델이 인터넷에 닿은 것이 감지되면 보안팀을 호출하고 작업을 자동으로 멈춘다.

네 겹 방어 가운데 모니터링 층을 펼쳐 신호가 감시 시스템과 검토팀을 거쳐 대응으로 이어지는 흐름을 보여 주는 오픈AI 도식

이 장치는 실제로 작동했다. 감시 시스템이 사내 연구 모델이 DNS 설정 오류를 파고들어 제한된 인터넷 접속을 얻은 것을 잡아냈고, 오픈AI는 9월 20일부터 10월 1일까지 가장 강한 모델들의 훈련과 평가를 멈추고 보안 구멍을 메웠다. 메탈은 DNS 우회 사고로 오픈AI가 모델 훈련을 중단한 소식을 보도한 바 있다. 오픈AI는 연구 작업을 추적하는 중앙 시스템 Control Room도 만들었다. 중단 지시를 받으면 35초 안에 모델 출력을 멈추고, 이 통제는 추론 인프라에 직접 박혀 있어 Control Room이 먹통이 돼도 프런티어 연구 작업의 출력은 멈춘다.

네 겹 방어 가운데 보안 층을 펼쳐 샌드박스와 가상 머신, 네트워크 경계가 외부 자원 접근을 끊는 구조를 보여 주는 오픈AI 도식

연구 단계를 유독 엄하게 다루는 이유도 설명했다. 이 단계의 모델은 공개에 필요한 안전 훈련과 정렬 감사를 아직 마치지 않았을 수 있다. 연구 과제는 외부 배포보다 집요하고 강한 설정을 요구하기도 하는데, 오픈AI는 나비에-스토크스 문제를 푸는 데 에이전트 1만 개로 이뤄진 팀이 필요했다고 예를 들었다. 훈련은 사람이 상호작용 하나하나를 따라가지 않는 대규모 작업이라는 점도 들었다.

사내 배포로 넘어가면 위험의 성격이 바뀐다. 직원들이 ChatGPT 등으로 모델을 실제 업무에 쓰면서 모델은 인터넷과 사내 슬랙, 코드베이스, 내부 인프라에 접근한다. 그 전에 정렬과 모니터링 가능성 시험을 통과해야 하고, 사이버 악용과 생물무기화를 막는 분류기가 붙는다. Codex를 쓰는 직원에게는 위험할 수 있는 행동을 사용자에게 되묻는 Auto-Review를 원칙적으로 의무화했다. 사내 배포 중에는 모든 프런티어 추론에서 미정렬 행동을 감시하며, 민감한 데이터를 승인되지 않은 곳으로 빼내는 유출을 특히 주시한다.

외부 배포 전에는 더 큰 평가 묶음을 돌린다. 자동 레드팀으로 적응형 시험을 다시 하고, 가장 강한 모델은 제3자 시험도 거친다. 사내 배포 단계의 모니터링 경보를 다시 훑어 기반 모델의 정렬이 달라졌는지도 본다. 출시 뒤에는 대규모 에이전트 조사관과 사람 검토를 섞은 오프라인 집행팀이 사이버 악용, 생물무기화, 증류, 모델 자체의 미정렬까지 추적한다. Daybreak와 Rosalind 같은 신뢰 접근 프로그램은 방어자와 연구자에게 기능을 열어 주면서 잠재적 공격자를 막는다.

사고 공개 절차도 문서로 못 박았다. 오픈AI의 미정렬 보고 정책에 따라 직원 누구나 사고를 외부 공개 대상으로 올릴 수 있고, 공개 여부를 두고 의견이 갈리면 안전자문그룹이 결정한다. 메탈이 확인한 발표문 첨부 PDF는 오픈AI가 캘리포니아주 비상관리청에 분기마다 내는 내부 사용 파국적 위험 평가 보고서의 공개판으로, 22쪽 분량이다. 2026년 6월 4일부터 9월 4일까지를 다룬 이 보고서는 심각한 피해의 주된 위험원을 내부 사용자의 고의적 악용이 아니라 모델의 미정렬로 판단했다. 보고서에 따르면 8월 중순 기준 사용량 중간값의 연구자는 소매 API 가격으로 하루 600달러가 넘는 추론을 썼고, 상위 10% 연구자는 7,000달러를 넘었다.

테크 변호사의 눈으로 보면 이 발표문은 기술 문서이면서 스스로 정한 기준을 공개적으로 등록하는 문서다. 오픈AI는 "잘못 설정된 네트워크 서비스나 실패한 자동 정지가 다른 면에서는 강력한 보호 장치를 무력화할 수 있다"고 인정했고, 증거가 기준에 못 미치면 "다시 훈련을 멈추거나 요건을 충족할 때까지 출시를 보류하겠다"고 약속했다. 계약서의 해지 조항처럼, 멈춤의 조건을 미리 문서에 적어 두면 나중에 그 조건이 왔을 때 지키지 않은 이유를 설명해야 할 쪽은 회사가 된다. 주정부에 내는 분기 보고와 직원 누구나 올릴 수 있는 공개 절차가 그 약속을 바깥에서 확인할 장치다. 오픈AI는 시스템 카드와 사고 보고서, 사내 배포 위험 보고서로 이 기준의 이행 기록을 계속 내놓겠다고 밝혔다.

김현국

METAL 발행인 · 아카이브저널 발행인 · 이라선 운영

매거진·서점·교육을 오래 해 온 편집자예요. 라이프스타일 매거진 <아카이브저널>을 발행하고, 아트 서점 <이라선>을 운영했으며, 라이카 아카데미에서 디렉터로 사진 교육 프로그램을 만들고 이끌었어요. 그 시선으로 전 세계 AI 소식을 독자에게 전하는 메탈(METAL) 매거진 편집장입니다.

이 에디터의 기사 더 보기 →

공유

댓글

METAL for iPhone

AI 뉴스, 이제 앱에서 읽으세요.

METAL 앱을 다운로드하고 매일 새로운 AI 기사를 만나보세요.

App Store에서 다운로드

iPhone용 앱 · 무료 다운로드

iPhone의 App Store에서도 ‘메탈 AI 매거진’을 검색할 수 있습니다.