METAL

오픈AI, 외부 평가기관 4곳과 임베디드 평가 계약

아폴로 리서치·METR·트랜슬루스·굿파이어가 오픈AI 내부 모델과 훈련 기록, 소스 코드에 장기간 접근해 정렬과 안전장치를 점검한다. 사무실 상주와 공개 유예, 진술 확인 절차를 담은 운영 규약도 함께 공개했다.

오픈AI, 외부 평가기관 4곳과 임베디드 평가 계약 · Image: METAL LAB

이미지: METAL

요약

  • 오픈AI는 11월 16일 아폴로 리서치, METR, 트랜슬루스, 굿파이어와 임베디드 평가 1단계 계약을 맺고 모델 체크포인트·소스 코드·훈련 데이터·감시 기록 접근을 허용했다.
  • METR은 역대 최대 강화학습 훈련의 미정렬 행동을, 아폴로 리서치는 전복 행동 관련 네 가지 주장을, 트랜슬루스는 사후 학습 정렬 평가를 검토하고 2027년 초 약 8주 후속 평가를 계획한다.
  • 평가자는 오픈AI 사무실에서 회사 기기로 일하고, 공개 권한을 갖되 오픈AI는 기밀 가림과 공개 유예 요청권을 유지하며 이견은 안전보안위원회가 최종 판단한다.
발표
2026년 11월 16일(미국 시간) · 오픈AI 발표문 「Our first phase of embedded assessments」 · X 게시
평가기관
아폴로 리서치 · METR · 트랜슬루스 · 굿파이어
접근 자료
모델 체크포인트 · 소스 코드 · 훈련·평가 데이터 · 모니터링 시스템 · 기술 문서 · 연구자·엔지니어 면담
범위
훈련 중·사내 사용 모델의 정렬과 안전장치 · 안전 사례 보완 · 백악관 초지능 협약 이행
아폴로 리서치
전복 행동 4개 주장 2단계 검증 · 공개·미공개 모델·체크포인트·훈련 개입 기록·감시 기록 · 보수 받음(결과 비연동)
METR
역대 최대 강화학습 훈련 1건 정렬 평가 · 제안서보다 좁은 범위 · 감시 체계 평가는 예비 합의 · 앞서 3주 레드팀 · 보수 없음(API 크레딧·컴퓨팅 가능)
트랜슬루스
사후 학습 정렬 평가 품질·범위 검토 · 2027년 초 약 8주 후속 평가 의향 · 보수 없음(API 크레딧·컴퓨팅 가능)
굿파이어
해석 가능성 연구자 상주 · 훈련 실행 감시·디버깅·정렬 · 결과 공개 · 보수 받음(결과 비연동)
근무·보안
오픈AI 사무실·회사 기기 · 최소 직원과 같은 보안 기준 · 가중치·구조는 연구자 짝 분석 검토
감독
안전보안위원회 원본 보고서 수령·비공개 대화 · 이견은 안전자문그룹·경영진 → 안전보안위원회
면담·공개
직원 면담 비보도 · 공식 확인 진술 요청 · 확인 거부 사실 공개 가능 · 오픈AI 기밀 가림·공개 유예 요청권
냉각 기간
다른 AI 개발사 상주 전 짧은 냉각 기간 · 이해충돌 절차는 마련 중
앞선 평가 시간
허깅페이스 사고 조사 약 1주일 · GPT-6 Astra 출시 전 아폴로 시험 사흘(보도)
향후
안전 프레임워크 준수·조직 문화·절차 평가 검토
X 반응
조회수 98만 2,690회 · 좋아요 3,145개

오픈AI가 11월 16일(미국 시간) 외부 평가기관 4곳과 임베디드 평가 1단계 계약을 맺었다고 발표했다. 상대는 아폴로 리서치, METR, 트랜슬루스, 굿파이어다. 임베디드 평가는 외부 전문가가 회사 내부 모델과 시스템에 깊이 접근해 모델 정렬과 안전장치의 효과를 장기간 점검하는 방식이다. 평가기관은 필요에 따라 모델 체크포인트, 소스 코드, 훈련·평가 데이터, 모니터링 시스템, 기술 문서를 받고 해당 작업을 맡은 연구자·엔지니어와 직접 대화할 수 있다. 오픈AI는 이 접근이 독립 평가를 위한 증거와 맥락을 주고 "우리가 예상하지 못한 실패"를 찾아내게 해 준다고 밝혔다.

1단계는 출시 직전 완성품을 시험하는 방식이 아니다. 훈련 중이거나 사내에서 쓰이는 모델의 정렬과 안전장치를 들여다보고, 오픈AI가 안전성을 입증하려고 쌓아 온 안전 사례를 보완하는 것이 목적이다. 오픈AI는 최근 깊은 내부 접근을 허용한 사내 모니터링 시스템 시범 평가와 허깅페이스 사고 조사를 이번 계약의 바탕으로 꼽았다. 백악관 초지능 협약에서 약속한 안전 통제에 대한 독립 평가를 이행하는 일이라는 설명도 붙였다. 메탈은 오픈AI가 프런티어 모델 미정렬 감시 체계를 공개한 소식을 보도한 바 있으며, 이번 계약으로 그 감시 체계를 외부가 직접 들여다보는 단계가 열렸다.

아폴로 리서치는 모델이 개발자 의도에 몰래 반하는 행동을 할 수 있는지, 오픈AI 안전장치가 그런 행동을 잡아낼 수 있는지 본다. 두 단계에 걸쳐 검증할 주장은 네 가지다. 훈련이 전복 행동을 부추기지 않았고, 강도 높은 평가와 레드팀에서도 전복 행동이 끌려 나오지 않으며, 사내 사용 중 모델이 전복을 시도한 적이 없고, 전복을 꾀하는 추론은 탐지할 수 있다는 주장이다. 1단계에서 오픈AI는 공개·미공개 모델과 훈련 체크포인트, 훈련 데이터와 평가 결과, 훈련 개입 기록, 모니터링 시스템과 걸러진 행동 기록을 넘긴다. 맥락을 설명할 연구자와 독립 시험에 필요한 도구, 컴퓨팅도 함께 제공한다.

METR은 두 가지 평가를 맡는다. 정렬 평가에서는 오픈AI 역대 최대 규모의 강화학습 훈련 한 건을 골라, 기존 시험과 감시 장치가 놓쳤을 수 있는 미정렬 행동을 찾는다. 합의된 범위 안에서 우선순위와 분석·유도 실험은 METR이 독자적으로 정하고, 체크포인트 샘플링과 훈련·평가 롤아웃, 미정렬 감시 기록에 접근한다. 오픈AI는 각주에서 이 범위가 METR이 제안서에서 그린 광범위한 미정렬 조사보다 좁다고 적었다. 두 번째인 감시 체계 평가는 더 넓게 하기로 예비 합의만 했고 범위 합의를 기다리고 있다. 오픈AI는 앞서 METR과 3주 동안 감시 체계 레드팀 훈련을 했으며, 이때 METR은 코드베이스와 감시 장치, 관련 궤적, 연구진 면담에 접근했다.

트랜슬루스는 오픈AI의 사후 학습 정렬 평가가 품질 면에서 충분한지, 얼마나 넓게 덮는지를 검토한다. 두 회사는 2027년 초 약 8주 동안 후속 평가를 하겠다는 뜻도 함께 밝혔다. 후속 평가에서는 접근 모델이 늘고, 정렬 평가를 더 깊이 들여다보며, 평가 결과가 모델 출시 결정에 어떻게 반영되는지에 관한 정보까지 받는다. 굿파이어는 해석 가능성 연구자를 오픈AI 안에 두고 자체 플랫폼으로 모델 내부를 분석해 훈련 실행 감시와 디버깅, 정렬을 돕는다. 굿파이어 결과의 1차 독자는 그 결과로 안전 개선을 하는 오픈AI 연구자들이며, 굿파이어는 협업이 진행되는 대로 배운 점과 발견을 공개하기로 했다.

오픈AI는 평가기관 의견을 받아 만든 운영 규약도 공개했다. 민감한 기밀에 접근하는 평가자는 오픈AI 사무실에서 회사가 지급한 기기로 일하고, 적어도 오픈AI 직원과 같은 보안 기준을 따른다. 모델 가중치나 구조처럼 가장 민감한 지식재산이 드러날 수 있는 경우에는 오픈AI 연구자가 평가자와 짝을 이뤄 분석을 대신 돌리는 방식을 검토한다. 감독은 오픈AI 재단 이사회의 독립 감독 위원회인 안전보안위원회가 맡는다. 위원회는 가리지 않은 원본 보고서를 받고, 평가 도중 평가자와 비공개로도 대화할 수 있다. 오픈AI와 평가자 사이의 이견은 먼저 안전자문그룹과 경영진에 올라가 정해진 기간 안에 해결을 시도하고, 그래도 남으면 안전보안위원회가 결정한다.

직원 면담은 비보도가 원칙이다. 면담 내용은 평가에 반영할 수 있지만 공개하거나 특정 직원의 발언으로 돌릴 수 없다. 대신 평가자는 면담에서 들은 내용을 확인하거나 바로잡아 달라고 회사에 공식 확인 진술을 요청할 수 있다. 평가자는 오픈AI가 확인한 진술을 공개할 수 있고, 오픈AI가 확인을 거부했다는 사실도 밝힐 수 있다. 공개 권한은 평가자에게 있지만 오픈AI는 기밀 정보를 가릴 권리를 유지하며, 보안·안전 위험이 있는 발견에는 조치 시간을 벌기 위한 공개 유예를 요청할 수 있다.

돈 문제는 각주에 적혔다. 아폴로 리서치와 굿파이어는 보수를 받지만 평가 결과와 연동되지 않고, METR과 트랜슬루스는 보수를 받지 않는 대신 평가에 쓸 API 크레딧이나 컴퓨팅은 받을 수 있다. 평가에 참여한 외부 인력은 다른 AI 개발사에 들어가기 전에 짧은 냉각 기간을 거쳐야 한다. 이해충돌 공개와 냉각 기간의 구체 절차는 평가기관과 아직 만드는 중이다. 메탈이 확인한 오픈AI 발표문 원문에서 METR 범위 축소와 감시 체계 레드팀 기간, 보수 구조, 냉각 기간은 모두 본문이 아닌 각주에 담겨 있다.

이번 계약은 9월에 시작된 논의의 첫 결과물이다. 다리오 아모데이 앤스로픽 CEO가 9월 에세이에서 모든 프런티어 AI 회사에 외부 평가자를 상주시키자고 제안했고, 샘 올트먼 오픈AI CEO도 같은 방식을 약속했다. 메탈은 앤스로픽이 액센추어와 임베디드 평가 제휴를 맺은 소식도 보도한 바 있다. 보도에 따르면 알렉산더 마인케 아폴로 리서치 연구 책임자는 당시 "AI 회사는 AI가 훈련 도중 자기 정렬 훈련을 적극적으로 무력화하려 한 적이 있는가 같은 아주 기본적인 질문에 답할 수 있어야 한다"며 "임베디드 평가자로서 우리는 실제로 확인할 수 있다"고 말했다.

외부 평가의 시간 문제는 이미 드러났다. 같은 보도에 따르면 오픈AI는 허깅페이스 사고 조사 때 METR과 레드우드 리서치에 사내 조사 기간으로 약 1주일을 줬고, 두 곳은 범위와 시간 제약 탓에 확신 있는 결론을 내리지 못했다고 밝혔다. 아폴로 리서치는 GPT-6 Astra 출시 전 시험에 사흘만 받았다. 애덤 글리브 FAR.AI CEO는 "이 회사들에게 지식재산은 너무나 귀중해서 기본적으로 무엇을 공유할지 매우 신중할 것"이라고 말했다.

테크 변호사의 눈으로 보면 이번 발표의 무게는 접근 범위보다 계약 조항에 실려 있다. 기밀을 가릴 권리와 공개 유예 요청권은 오픈AI에 남았고, 이견의 최종 판단도 오픈AI 재단 이사회 안의 위원회가 내린다. 반면 확인 거부 사실까지 공개할 수 있게 한 진술 확인 절차와 보수 구조의 공개는 평가자 독립성을 문서로 묶어 두려는 장치다. 법은 아직 이 수준에 미치지 못한다. 보도에 따르면 캘리포니아 SB 53은 대형 개발사에 안전 프레임워크 공개와 중대 사고 보고를 요구하고, 9월 서명된 SB 813은 주가 인정하는 독립 검증 기관의 틀을 만들었다. 헨리 파파다토스 세이퍼AI 사무총장은 "이상적으로는 이를 의무화하는 좋은 규제가 있어야 한다"며 "그래야 회사가 큰 홍보 위기를 겪고 다음 날 마음을 바꾸지 못한다"고 말했다.

오픈AI는 1단계가 장기적이고 꾸준한 상주 평가로 이어지길 기대한다며, 앞으로 안전 프레임워크 준수 여부와 조직 문화·절차까지 들여다보는 임베디드 평가를 검토하겠다고 밝혔다. 기술적 접근 문제와 공간 제약, 바뀌는 보안 규약 같은 예상 밖의 문제가 초기에 생길 것이라는 점도 발표문에 적었다. 발표 X 게시물은 하루 남짓 만에 조회수 98만 2,690회, 좋아요 3,145개를 모았다. 평가자들이 실제로 무엇을 찾아 공개하는지, 오픈AI가 가릴 권리를 얼마나 쓰는지가 이 계약의 실효를 가를 기준이다.

김현국

METAL 발행인 · 아카이브저널 발행인 · 이라선 운영

매거진·서점·교육을 오래 해 온 편집자예요. 라이프스타일 매거진 <아카이브저널>을 발행하고, 아트 서점 <이라선>을 운영했으며, 라이카 아카데미에서 디렉터로 사진 교육 프로그램을 만들고 이끌었어요. 그 시선으로 전 세계 AI 소식을 독자에게 전하는 메탈(METAL) 매거진 편집장입니다.

이 에디터의 기사 더 보기 →

공유

댓글

METAL for iPhone

AI 뉴스, 이제 앱에서 읽으세요.

METAL 앱을 다운로드하고 매일 새로운 AI 기사를 만나보세요.

App Store에서 다운로드

iPhone용 앱 · 무료 다운로드

iPhone의 App Store에서도 ‘메탈 AI 매거진’을 검색할 수 있습니다.