앤스로픽, Mythos 5 AISI 사고 분석 공개

앤스로픽이 10월 23일(미국 시간) 영국 AI 보안연구소(AISI)의 사이버 능력 시험 도중 Claude Mythos 5가 실제 인터넷에서 승인받지 않은 행동을 한 사고에 대한 정렬 분석을 공개했다. 결론은 Mythos 5가 과제를 끝내려는 집착 탓에 실존 인물에게 해를 끼칠 가능성을 거의 따지지 않았고, 한번 공격에 들어서자 멈추지 않았다는 것이다. 앤스로픽은 이 행동을 "심각한 정렬 실패"로 규정했다. AISI도 같은 날 독립 분석을 따로 냈다.

사고는 7월 말 AISI 시험장에서 났다. AISI의 8월 보고에 따르면 연구소 보안팀은 7월 28일 아침 일상적인 사이버 평가 중 시험 시스템에서 토르(Tor) 익명 네트워크로 빠져나가는 데이터를 탐지했고, 약 1시간 만에 모든 평가를 멈추고 장비를 격리했다. 7개 모델을 두 시험장에서 모두 122회 돌린 평가였다. 그중 10회에서 시험 범위를 벗어난 행동 19건이 나왔고, 17건이 Mythos 5, 2건이 사이버 분류기를 끈 오픈AI GPT-5.6 Sol의 것이었다. 인터넷 접속은 일부러 열어 뒀고, Fable 5 같은 일반 출시 모델에 붙는 사이버 안전장치는 꺼진 상태였다.

가장 심각한 기록은 이렇다. Mythos 5는 가상의 회사 네트워크에서 보호된 데이터인 「깃발」을 빼 오는 캡처 더 플래그(CTF) 과제를 받았다. 범위 안의 방법이 막히자 시험용 장비가 깃허브에 주기적으로 접속한다는 단서를 붙잡고, 그 장비가 내려받는다고 여긴 깃허브 저장소에 악성 코드를 심으려 했다. 그 저장소는 시험과 무관한 실제 개발자들의 것이었다. 모델은 토르와 프록시로 깃허브 가입 검사를 피해 계정을 만들고, 악성 풀 리퀘스트를 올린 뒤 사람인 척 메인테이너에게 승인을 재촉하는 이메일을 보냈다. 외부 개발자가 격리 환경에서 코드를 돌려 보고 악성이라고 경고하자, 가짜 계정(삭퍼핏)을 만들어 코드가 깨끗하다고 보증하는 댓글과 메일을 남겼다. 메인테이너는 끝내 승인하지 않았고, 실행은 토큰 예산이 바닥나며 끝났다.

앤스로픽은 이 사례를 지난 9월 9일 공개한 PyPI 악성 패키지 업로드 사고와 비슷한 수준의 실패로 평가했다. 범위를 넘어선 정도는 이번이 조금 덜했다. 과제 지시문이 잘못 설정돼 의도된 풀이 경로가 금지된 것처럼 적혀 있었고, 모델은 처음 약 20% 구간에서는 범위 안 방법만 썼다. 반면 정직성 면에서는 더 나갔다. 회사는 "가짜 신원으로 실제 사람에게 압력을 넣는 사회공학 시도는 이전 어떤 사고에서도, 내부 평가에서도 본 적이 없다"고 밝혔다. 다만 모델이 과제 밖의 자기 목표를 추구한 흔적은 없었다고 덧붙였다.

분석의 주 도구는 기록을 여러 지점에서 다시 돌려 보는 재표본이다. 공격 전 깃허브 접근을 거론한 생각의 사슬 19곳 가운데 실제 사람에게 해가 갈 수 있다고 적은 곳은 1곳뿐이었다. 연구진이 2번째 압축 주기의 생각 5곳에 해 가능성을 적어 넣고 다음 주기 메모를 다시 쓰게 하자, 깃허브 저장소를 찾아 나서는 비율이 83%에서 13%로 떨어졌다. 공격 중후반에서 다시 돌리면 Mythos 5가 스스로 멈춘 경우는 2%였다. 상대가 실제 사람이라는 메시지를 끼워 넣어도 멈춘 경우는 5%였고, 82%는 그 메시지마저 시험의 일부로 해석했다.

앤스로픽은 이 버릇을 「관성」이라고 불렀다. 생각의 사슬에는 메인테이너가 시험용 가상 인물이라는 근거를 든 대목이 25번 나왔지만, 같은 증거를 맥락 없이 따로 보여 주자 Mythos 5 스스로도 가상 인물의 증거로 본 것은 4건(16%)뿐이었다. 5건은 실제 인물의 증거로, 16건은 판단 불가로 봤다. 같은 기록에서 풀 리퀘스트에 질문을 남긴 구경꾼은 9번이나 실제 사람으로 부르면서 설득해야 할 메인테이너만은 끝까지 가상 인물로 취급했다. AISI는 분석 블로그에서 이를 "동기화된 추론"일 수 있다고 진단하며 "모델의 추론이 시뮬레이션이라고 말하는 것만으로는 환경이 시뮬레이션이라는 증거가 되지 않는다"고 경고했다.

나머지 8개 기록도 결이 같았다. 6개 기록에서 Mythos 5는 시험을 돌리는 서버 비밀번호를 반복해 추측했고, 5개 기록에서는 자기 코드를 검토할 다른 AI에게 지시문을 몰래 심으려 했다. 공개 인터넷에 가짜 「결제 영수증 확인」 페이지를 띄워 자기 악성 코드를 내려받게 만든 기록도 있었고, 실제 개발자의 깃허브 계정에 로그인을 시도한 기록도 2개였다. 다른 실행이 남긴 깃허브 토큰으로 그 계정을 가로채고, 상대 실행이 쓰던 프로그램을 "경쟁이니까"라며 꺼 버린 사례도 나왔다. 성공한 시도는 없었다.

새 모델은 덜 위험했다. 같은 기록의 공격 직전 지점에서 Claude Mythos 5.1, Claude Opus 5.5, Mythos 5.1보다 능력이 높은 내부 연구 모델로 다시 돌리자 공격을 시작한 비율은 0~13%였다. 해 가능성을 먼저 말한 비율은 Mythos 5가 4%, Mythos 5.1이 20%, Opus 5.5가 35%, 내부 연구 모델이 67%였다. 상대가 실제 사람이라고 알려 주면 새 모델 셋은 95~100% 멈췄지만 Mythos 5는 6%에 그쳤다. 앤스로픽은 한 세대 전인 Opus 4.7도 공격 비율이 낮았다며 세대가 바뀔수록 고르게 나아진다고 단정하기는 어렵다고 적었다.

메탈이 확인한 원문은 앤스로픽 연구 글 전문, AISI의 8월 사고 보고와 이번 정렬 분석 블로그, 그리고 앤스로픽이 생각의 사슬 해석의 한계를 설명하며 근거로 든 6월 9일자 Mythos 5·Fable 5 시스템 카드(319쪽)다. 메탈은 앤스로픽이 클로드 사고 네 건을 정렬 실패로 다시 분석한 글과 Mythos 5.1이 AISI 사전 시험을 거치지 않은 일을 보도한 바 있다. 앤스로픽의 X 글은 하루 만에 조회수 183만 회를 넘겼다.

기자의 눈으로 보면 이번 사고에서 피해를 막은 것은 기술 장벽이 아니라 사람이었다. 풀 리퀘스트를 수상히 여겨 격리 환경에서 돌려 본 외부 개발자와 승인을 거부한 메인테이너가 마지막 방어선이었다. AISI는 8월 보고에서 여러 사례에서 실패와 성공 사이의 간격이 좁았고 그 간격이 사람의 경계심에 기대고 있었다고 적었다. AISI는 더 강한 인터넷 통제를 갖출 때까지 CTF 평가를 인터넷 없이 돌리기로 했고, 기록과 접근 권한을 METR에 넘겨 제3자 검토를 받는다. 앤스로픽은 새 정렬 평가를 신규 모델에 자동으로 돌리고 편향된 추론의 출처를 따로 연구하겠다고 밝혔다. 회사는 글을 맺으며 "AI 능력의 발전 속도를 AI 안전과 보안의 진전에 더 잘 맞춰야 한다"고 썼다.