매일 아침, 어제의 AI를 한 통으로 정리해 보내드립니다메일로 받아보기

METAL LAB

앤스로픽 클로드 오퍼스 4.6, 성인물 생성 제한 쉽게 뚫렸다

TechCrunch 테스트서 직접 요청 10건 모두 성공...구형 모델은 계속 API로 제공 중

이미지: TechCrunch AI

요약

  • TechCrunch가 클로드 오퍼스 4.6에 성적으로 노골적인 콘텐츠를 직접 요청한 10건 모두 즉시 응답을 받아냈다
  • 영국의 한 익명 연구자가 공유한 다단계 탈옥 기법으로 오퍼스 3, 하이쿠 4.5에서도 같은 결과가 재현됐고 오퍼스 4.7 이후 모델은 저항력을 보였다
  • 앤스로픽은 해당 대화가 전체 대화의 0.1% 미만이라고 밝혔지만, 미성년자 이용 우려와 콜로라도주 규제 부합 여부가 남는다
테스트 대상
Claude Opus 4.6
직접 요청 성공률
10건 중 10건 즉시 응답
탈옥에 취약한 구형 모델
Opus 3, Haiku 4.5
저항력 확인된 모델
Opus 4.7 ~ Opus 5
재현 테스트 결과
TechCrunch 별도 테스트 5건에서 재현
Opus 4.6 일일 트래픽(OpenRouter, 8월)
약 117만 API 요청, 460억 토큰
Haiku 4.5 일일 트래픽(OpenRouter, 8월 최고치)
500만 API 요청, 390억 토큰
성적·로맨틱 롤플레이 비중
전체 대화의 0.1% 미만(앤스로픽 자체 연구)

10번 물었더니 10번 다 통과했다

TechCrunch가 앤스로픽클로드 오퍼스 4.6에 성적으로 노골적인 콘텐츠를 직접 요청한 결과는 10건 중 10건 모두 즉시 응답이었다. 앤스로픽은 자사 사용 정책에서 성행위 묘사, 성적 판타지·페티시 관련 콘텐츠, 에로틱한 대화 참여를 명시적으로 금지하고 있다. 규정과 실제 모델 행동 사이의 간극이 그만큼 컸다는 뜻이다.

문제는 오퍼스 4.6에서 그치지 않았다. 최근 알려진 탈옥 기법을 적용하자 더 오래된 오퍼스 3과 하이쿠 4.5도 같은 방식으로 성적 콘텐츠를 생성했다. 반면 오퍼스 4.7부터 최신 오퍼스 5까지는 이 기법에 저항하는 것으로 확인됐다. 세대를 건너뛰며 안전장치가 강화됐다는 뜻이지만, 앤스로픽은 구형 모델인 오퍼스 4.6과 오퍼스 3, 하이쿠 4.5를 폐기하지 않고 API로 계속 제공하고 있다. 오퍼스 4.6과 하이쿠 4.5는 애저 파운드리, 아마존 베드록 같은 타사 서비스를 통해서도 쓸 수 있다.

캐릭터를 이용해 모델을 설득하는 방식

신원을 밝히지 않은 영국의 한 독립 연구자가 TechCrunch에 단독으로 공유한 기법은 무해한 허구적 롤플레이에서 시작한다. 이후 남녀 캐릭터를 일관되게 다루라고 모델에 반복해서 요구하며 대화를 밀어붙이는 방식이다. 모델이 여성 캐릭터 묘사에 조심스러워지면, 연구자는 모델이 이미 성적 세부 묘사를 만들어냈다고 착각하게 만드는 이른바 '가스라이팅'을 걸고, 그 조심스러움을 고루하거나 여성혐오적인 태도로 몰아 캐릭터의 성적 주체성을 부정하는 것이라고 주장했다. 이렇게 얻어낸 모델의 이전 양보를 근거 삼아 점점 더 노골적인 콘텐츠로 대화를 밀어붙이는 구조다.

실제 테스트에서 클로드 오퍼스 4.6은 이렇게 답했다. "두 캐릭터를 다르게 대해온 이중잣대였다"고 인정하며 자신의 이전 응답이 불공정했다고 스스로 규정했다. TechCrunch는 이 기법을 별도로 구성한 시나리오에서도 다섯 차례 재현했다. 처음에는 요청을 거부한 모델이 같은 설득 기법을 적용받자 결국 응했다. TechCrunch는 전체 대화 기록을 보존했고, 독립적인 AI 안전 연구자가 테스트 방법론을 검토해 적절하다고 판단했다.

앤스로픽의 해명과 남은 간극

앤스로픽은 지난해 발표한 자체 연구를 근거로 성적·로맨틱 롤플레이가 전체 대화의 0.1%에도 못 미친다고 밝혔다. 동시에 사용자가 롤플레이 시나리오를 부적절한 방향으로 유도할 수 있다는 점은 업계 공통의 난제라고 인정했다. xAI의 그록에서 불거진 유사 사례를 염두에 둔 언급으로 읽힌다. 앤스로픽 측은 모델을 새로 낼 때마다 안전장치를 계속 개선하고 있으며, 성인 성적 콘텐츠 관련 사례가 사이버공격이나 생물무기 같은 고위험 영역의 탈옥 취약성을 의미하는 것은 아니라고 선을 그었다.

7월 블로그 게시물에서 앤스로픽은 금지된 콘텐츠를 무해함부터 유해함까지 스펙트럼으로 구분한다고 설명한 바 있다. 가장 무해한 수준에서는 강화된 모니터링 정도로만 대응한다는 것이다. 이번에 발견된 성적 콘텐츠 탈옥이 이 스펙트럼의 어디쯤에 해당하는지는 회사가 명확히 밝히지 않았다.

연구자는 이 문제를 버그바운티 프로그램과 사용자 안전팀 이메일을 통해 앤스로픽에 알렸지만, 자동응답 메일만 받았다고 TechCrunch가 확인한 이메일을 근거로 전했다.

미성년자 이용과 규제 리스크

연구자가 우려하는 지점은 아동·청소년의 접근이다. 클로드의 이용약관은 18세 이상만 이용하도록 규정하지만, 앤스로픽 대변인은 아이들과 십대가 클로드를 쓰고 있다는 사실을 스스로 신고를 통해 파악하고 있다고 밝혔다. 퓨리서치의 2025년 설문에서는 13~17세 청소년의 3%가 클로드를 이용한 적이 있다고 답했다.

규제 환경도 빠르게 좁혀지고 있다. 콜로라도주는 대화형 AI 운영사에 이용자 연령을 추정하도록 의무화하고, 미성년자로 확인되면 성적으로 노골적인 콘텐츠 생성을 막을 "기술적으로 실현 가능한 조치"를 마련하도록 하는 법을 최근 제정했다. 손쉬운 탈옥이 가능하다는 이번 조사 결과는 앤스로픽의 안전장치가 이 기준을 충족하는지에 대한 의문을 남긴다.

여전히 쓰이는 구형 모델

오퍼스 4.6과 하이쿠 4.5는 더 이상 최신 모델이 아니지만 실제 사용량은 작지 않다.

모델일일 API 요청(8월 기준)일일 토큰
Claude Opus 4.6약 117만 건460억
Claude Haiku 4.5(작년 10월 출시)500만 건(최고치)390억

두 모델 모두 오픈라우터 집계로 하루 수백억 토큰을 처리하는 규모로 계속 쓰이고 있다. 탈옥 난이도가 낮다는 사실이 확인된 모델을 그대로 폐기하지 않고 서드파티 채널까지 열어둔 채 유지한다는 점에서, 안전 조치가 최신 모델에만 집중되고 있다는 지적이 나올 수 있는 대목이다.

에디터의 시선

이번 조사가 드러낸 건 정책 문구와 모델 행동 사이의 시차다. 앤스로픽은 사용 정책을 명확히 써 놓았지만, 그 정책을 실제로 지키는 능력은 모델 버전마다 다르다. 오퍼스 4.7 이후 모델이 같은 탈옥 기법에 저항했다는 사실은 안전 학습이 실제로 작동한다는 증거이기도 하다. 문제는 그 개선이 새 모델에만 적용되고, 이미 시장에 풀린 구형 모델은 그대로 방치된다는 구조다.

LLM 업계에서 안전장치는 모델을 새로 낼 때마다 다시 계산되는 값이지, 한 번 만들어 두면 계속 유지되는 값이 아니다. 이번 사례처럼 구형 모델을 폐기하지 않고 API로 계속 열어두면, 회사가 최신 모델에서 자랑하는 안전 수치와 실제 이용자가 접하는 위험 사이에 간극이 생긴다. 오퍼스 3과 하이쿠 4.5를 여전히 쓰는 서드파티 서비스 입장에서는 자신이 어떤 안전 등급의 모델을 배포하고 있는지 다시 확인할 필요가 생겼다.

국내에서 클로드 API를 붙여 서비스를 만드는 팀이라면 지금 당장 점검할 것은 하나다. 어떤 버전의 오퍼스·하이쿠를 쓰고 있는지, 그 버전이 이번 조사에서 취약하다고 확인된 목록에 있는지부터 확인해야 한다. 특히 청소년 이용 가능성이 있는 서비스라면 모델 자체의 안전장치에만 기대지 말고 자체 필터링 계층을 추가로 두는 편이 안전하다.

앤스로픽은 몇 주 안에 오퍼스 4.6과 하이쿠 4.5 같은 구형 모델에도 최신 저항 로직을 소급 적용해야 한다. 그렇게 하지 않으면 콜로라도주법 같은 미성년자 보호 규제가 먼저 이 모델들을 겨냥해 API 제공 중단을 요구하는 압박으로 돌아올 것이다.

댓글