METAL

오픈AI, 아동 성착취물 탐지 분류기 무료 공개

AI로 만든 이미지까지 가려내는 분류기를 검증된 기관에 API로 무료 제공한다. ChatGPT에는 성착취물을 찾으려는 시도를 끊는 경고와 24시간 이용 정지가 붙었다.

오픈AI, 아동 성착취물 탐지 분류기 무료 공개 · Image: METAL LAB

이미지: METAL

요약

  • 오픈AI는 11월 16일 AI 생성 이미지까지 탐지하는 아동 성착취물 분류기를 공개하고 검증을 거친 기관에 API로 무료 제공한다고 발표했다.
  • 내부 평가에서 새 분류기는 표시 이미지를 48% 줄이고도 같은 수의 학대 이미지를 찾았으며, 협력사 시험에서는 그림·애니메이션의 90%를 잡아냈다.
  • ChatGPT는 성착취물을 찾는 시도에 경고와 대화 삭제, 24시간 이용 정지로 대응하고, 개발자 지침과 수사 기관용 도구도 함께 나왔다.
발표
2026년 11월 16일 · 오픈AI 발표문
분류기
AI 생성 이미지 포함 아동 성착취물 탐지 · 검토 우선순위 점수 · NCMEC 협력 개발 · 검증 기관 API 무료
내부 평가
표시 이미지 48% 감소 · 탐지 학대 이미지 수 거의 동일 · 표시 이미지의 학대 가능성 약 2배
협력사 시험
fal 높은 확신도 표시 72% 확인 · invideo AI 4건 중 1건 차단 · SafetyKit 그림·애니메이션 90% 탐지 · 성인 콘텐츠 오탐 1% 미만
ChatGPT 조치
경고 · 대화 삭제 · 24시간 이용 정지 · 전문 상담 안내 · 반복 시 계정 폐쇄·당국 신고 가능
공동 작업
Tech Coalition · ROOST · Lantern 참여 · 앤스로픽·구글과 대응 지침 공동 의뢰
인용
존 셰한 NCMEC 수석부사장 · 새뮤얼 왕 SafetyKit · 프랜시스 프로스트 루시 페이스풀 재단 · 제프 잭슨 노스캐롤라이나주 법무장관
수사 기관 도구
채팅 기록·법적 절차 자료 검토 · 연결 고리 · 시간순 정리 · 원자료 연결 · 기관 승인 필요

오픈AI가 11월 16일(현지 시간) 인공지능으로 만든 이미지까지 가려내는 아동 성착취물 탐지 분류기를 공개하고, 검증을 거친 기관에 API로 무료 제공한다고 발표했다. 같은 날 ChatGPT에는 성착취물을 찾으려는 시도를 끊는 경고와 24시간 이용 정지가 붙었다. 오픈AI는 개발자용 실무 지침과 아동 보호 수사 기관용 AI 도구도 함께 내놓았다. 회사 측은 이 분류기가 널리 쓸 수 있는 탐지 도구 가운데 AI 생성 여부를 따로 알려 주는 첫 사례라고 밝혔다.

새 분류기는 이미지에 담긴 학대의 시각적 신호를 읽는다. 기존 탐지는 이미 확인된 파일의 디지털 지문, 곧 해시와 맞춰 보는 방식이 중심이라 새로 만들어진 이미지는 놓치기 쉽다. 분류기는 처음 보는 이미지에도 점수를 매겨 검토자가 어떤 이미지를 먼저 봐야 할지 정하도록 돕는다. 오픈AI는 아동 성착취 신고 창구 CyberTipline을 운영하는 비영리단체 미국 실종·착취아동센터(NCMEC)의 도움을 받아 분류기를 학습시키고 평가했다. 접근 권한은 업계 단체 Tech Coalition과 ROOST를 통해 나누고, 플랫폼끼리 위험 신호를 주고받는 Tech Coalition의 Lantern 프로그램에도 최근 참여하기 시작했다.

성능 수치는 회사 내부 평가와 초기 협력사 시험에서 나왔다. 사용자가 올린 이미지로 기존 보호 장치와 비교한 결과, 새 분류기는 표시하는 이미지를 48% 줄이면서도 찾아낸 학대 이미지 수는 거의 같았다. 새 분류기가 표시한 이미지는 실제 학대 이미지일 가능성이 약 두 배 높았다. 생성형 AI 플랫폼 fal의 시험에서는 검토자가 높은 확신도 표시의 72%를 새로운 성착취물로 확인했다. 영상 제작 서비스 invideo AI에서는 표시된 사례 네 건 중 한 건이 계정 차단으로 이어졌고, SafetyKit 평가에서는 아동을 성적으로 그린 그림과 애니메이션의 90%를 잡아냈다. 새뮤얼 왕 SafetyKit 기술 스태프는 "해시 대조가 놓치는 미확인 성착취물을 잡아냈다"며 "합법적인 성인 콘텐츠에 대한 오탐은 1% 미만이었다"고 말했다.

존 셰한 NCMEC 수석부사장은 "이 분류기는 더 많은 기관이 이전에 확인되지 않은 성착취물을 탐지하고 신고를 강화하도록 돕는다"며 "피해 아동을 찾고 보호하는 이들에게 중요한 정보를 준다"고 말했다. 보도에 따르면 NCMEC의 CyberTipline에는 2025년 한 해 생성형 AI가 얽힌 신고가 40만 건 넘게 들어왔다. 모든 신고가 AI로 만든 성착취물의 제작이나 유포였던 것은 아니다.

ChatGPT의 대응도 한 단계 세졌다. 오픈AI는 이미 성착취물을 금지하고 모델이 관련 요청을 거절하도록 학습시켜 왔다. 이번에 더한 경고는 성착취물을 찾으려는 시도를 중간에 끊고, 아동을 성적으로 다루는 일은 AI로 만든 이미지라도 해를 끼친다고 분명히 적는다. 경고와 함께 해당 대화를 지우고 ChatGPT 이용을 24시간 멈추며, 해로운 행동을 멈추도록 돕는 전문 상담 창구를 안내한다. 위반이 되풀이되면 더 긴 제한을 거쳐 계정 폐쇄나 수사 당국 신고로 이어질 수 있다.

경고 문구는 아동 성학대 예방 프로그램을 연구하는 단체와 학자들의 의견을 받아 만들었다. Protect Children, 루시 페이스풀 재단, 켄트대 카일트 오 키아르다 박사, 경고 메시지 시험을 독립 평가한 태즈메이니아대 조엘 스캔런이 참여했다. 루시 페이스풀 재단의 프랜시스 프로스트 옹호·소통 담당 이사는 "우리가 운영하는 Stop It Now 상담 전화에는 AI 챗봇이 이곳을 알려 줬다는 사람들의 연락이 이미 자주 온다"며 "이제 그 도움의 길이 전 세계로 넓어져 각자 자기 나라의 지원으로 이어진다"고 말했다.

ChatGPT가 아동 성착취물을 찾으려는 시도에 띄우는 경고 화면과 24시간 계정 정지 안내 화면

개발자와 수사 기관을 위한 장치도 따로 나왔다. 오픈AI는 Tech Coalition, Thorn, NCMEC, 인터넷 감시 재단(IWF)의 의견을 받아 성착취물 대응 지침을 펴냈다. 지침은 이용 규칙과 신고 창구, 탐지 도구, 의심 사례의 검토·신고 절차를 담고, 안전 식별자로 오남용을 개별 사용자와 연결하는 방법도 설명한다. 오픈AI는 앤스로픽, 구글과 함께 AI 시스템에서 아동 성착취 피해 고백이 나왔을 때의 대응 지침도 공동 의뢰했고, 이 지침은 Tech Coalition이 펴냈다. 수사 기관용 첫 도구는 긴 채팅 기록과 법적 절차로 받은 자료를 검토해 연결 고리를 찾고 시간순으로 정리하며, 결과마다 원자료를 연결해 준다. 이용은 기관 승인과 프로그램 요건을 거쳐야 한다. 제프 잭슨 노스캐롤라이나주 법무장관은 "AI 태스크포스에 참여한 주 법무장관들의 첫째 우선순위는 아이들을 지키는 일"이라며 "기술 기업들도 그래야 한다"고 말했다.

메탈이 확인한 오픈AI 발표문은 성능 수치를 전부 회사와 협력사의 시험 결과로만 제시한다. 분류기의 세부 정보는 별도 모델 카드에 공개됐고, 이용을 원하는 기관은 신청서를 내야 한다. 보도에 따르면 오픈AI는 자사 기술이 이용자, 특히 아이들에게 해를 끼쳤다는 소송을 여러 건 겪고 있고, 비영리단체 커먼센스 미디어는 오픈AI 기술을 청소년에게 「용납할 수 없는 위험」으로 평가했다. 메탈은 오픈AI가 아동 AI 안전 헌장에 서명한 소식을 보도한 바 있으며, 이번 발표는 그 약속을 탐지 도구와 이용 정지라는 구체적 장치로 옮긴 첫 묶음이다.

언론인의 눈으로 보면 이번 발표에서 가장 무게 있는 대목은 도구를 경쟁사와 소규모 플랫폼에 무료로 연 결정이다. 성착취물은 한 플랫폼에서 막히면 다른 플랫폼으로 옮겨 가고, 해시 대조로는 AI가 새로 만든 이미지를 따라잡지 못한다. 오픈AI가 내놓은 분류기와 공동 지침, Lantern 참여는 모두 그 빈틈을 업계 공동의 탐지망으로 메우려는 시도다. 실제 효과는 얼마나 많은 기관이 이 도구를 쓰고 그 검토 결과가 피해 아동을 찾는 데까지 이어지느냐로 판가름 난다.

김현국

METAL 발행인 · 아카이브저널 발행인 · 이라선 운영

매거진·서점·교육을 오래 해 온 편집자예요. 라이프스타일 매거진 <아카이브저널>을 발행하고, 아트 서점 <이라선>을 운영했으며, 라이카 아카데미에서 디렉터로 사진 교육 프로그램을 만들고 이끌었어요. 그 시선으로 전 세계 AI 소식을 독자에게 전하는 메탈(METAL) 매거진 편집장입니다.

이 에디터의 기사 더 보기 →

공유

댓글

METAL for iPhone

AI 뉴스, 이제 앱에서 읽으세요.

METAL 앱을 다운로드하고 매일 새로운 AI 기사를 만나보세요.

App Store에서 다운로드

iPhone용 앱 · 무료 다운로드

iPhone의 App Store에서도 ‘메탈 AI 매거진’을 검색할 수 있습니다.