앤스로픽 안팎에서 같은 날 나온 두 경고

그가 X에 올린 글을 메탈이 우리말로 옮기면 이래요.

오늘 앤스로픽에서 사직했다. 지난 3년간 오픈AI와 앤스로픽에서 사전훈련 연구를 했다. 두 회사 모두 책임 있게 행동하고 있지 않다. 스스로를 개선하는 초지능을 향해 곧장 달려가며 우리 생명을 걸고 도박하고 있다.

이 기술의 힘을 과소평가하지 마라. 곧 무엇이든 해킹하고, 어떤 분야든 하룻밤에 뒤집고, 실제 권력과 자원을 손에 넣는 초인적 시스템이 나온다. 우리 모두 각 분야의 진전을 지켜봤고, 진전은 느려지지 않고 있다.

AI를 만드는 사람들은 이것이 이번 10년이 끝나기 전에 우리 모두를 죽일 수 있다고 진심으로 믿는다. 마케팅이 아니다. 오히려 많은 임원과 선임 연구자가 언론 앞에서는 분별 있게 들리도록 표현을 누그러뜨리지만, 나는 같은 사람들이 사석에서 두려움을 말하는 것을 듣는다. 인간의 어떤 활동도 이만한 위험을 만들지 않는다.

"정말 그렇게 믿는다면 왜 계속 만드느냐"는 흔한 반문이 있다. 오픈AI에서는 많은 사람이 문명 차원의 위험을 깊이 내면화하지 않았다. 앤스로픽에서는 위험이 잘 이해되고 있지만, 먼저 도달하려는 경주에 갇혀 있다. 다른 누구도 책임 있게 행동하지 않을 거라고 믿기 때문이다.

연구소 연구원이라면, 앞으로 몇 년이 실제로 어떤 느낌일지 생각해 보길 권한다.

(제이컵 콕슨, 9월 9일 X · 메탈 번역)

그가 떠나는 이유는 두 회사 모두를 향해요. "두 회사 모두 책임 있게 행동하고 있지 않다. 스스로를 개선하는 초지능을 향해 곧장 달려가며 우리 생명을 걸고 도박하고 있다"고 그는 썼어요. 그가 말한 "스스로를 개선하는 초지능"은 이 분야에서 재귀적 자기개선이라고 부르는 상태예요. 지금은 사람 연구자가 모델을 설계하고 훈련하고 평가하지만, 모델이 그 연구 자체를 맡아 다음 모델을 더 잘 만들고, 그 다음 모델이 또 그 다음을 더 잘 만드는 순환이 시작되면 능력이 오르는 속도가 사람이 개입하는 속도를 앞질러요. 세대마다 검사하고 멈출 시간이 줄어들다가 어느 순간 사라진다는 것이 이 말이 가리키는 위험이에요. 두 회사의 차이도 갈랐어요. "오픈AI에서는 많은 사람이 문명 차원의 위험을 깊이 내면화하지 않았다. 앤스로픽에서는 위험이 잘 이해되고 있지만, 먼저 도달하려는 경주에 갇혀 있다. 다른 누구도 책임 있게 행동하지 않을 거라고 믿기 때문이다"라는 대목이에요.

콕슨이 가장 힘줘 쓴 문장은 이거예요. "AI를 만드는 사람들은 이것이 이번 10년이 끝나기 전에 우리 모두를 죽일 수 있다고 진심으로 믿는다. 마케팅이 아니다." 그는 임원과 선임 연구자들이 언론 앞에서는 표현을 누그러뜨리지만 "같은 사람들이 사석에서 두려움을 말하는 것을 듣는다"고 덧붙였어요. 그의 쓰레드는 동료들을 향한 권유로 끝나요. "연구소 연구원이라면, 앞으로 몇 년이 실제로 어떤 느낌일지 생각해 보길 권한다."

남는 쪽의 답은 한 시간 반 뒤에 나왔어요. 앤스로픽에서 정렬과학 팀을 이끄는 에번 허빈저가 콕슨의 글을 인용해 답했어요. 허빈저는 이 분야에서 이름이 알려진 사람이에요. 2019년 AI가 훈련 중에 겉으로만 말을 잘 듣는 척할 수 있다는 "기만적 정렬" 개념을 정리한 논문의 첫 저자였고, 2024년에는 평소엔 정상으로 보이다가 특정 신호에 숨겨 둔 행동을 꺼내는 "잠복 요원" 모델을 앤스로픽에서 직접 만들어 그 위험을 실증했어요. 그 전에는 기계지능연구소와 오픈AI, 구글에서 일했어요. 요컨대 AI가 사람을 속일 수 있는지를 10년 가까이 파 온 사람이 지금 앤스로픽의 안전 연구 책임자예요.

그가 콕슨의 글에 단 답을 옮기면 이래요.

제이컵의 말이 맞다. 우리는 AI가 모든 인간을 죽일 수 있다고 정말로 믿는다. 나는 개인적으로 앞으로 10년 안에 그 확률이 10%를 넘는다고 본다. 앤스로픽은 최선을 다하고 있다고 믿지만, 우리는 아직 초지능의 정렬을 풀 계획이 없고, 그 궤도에 올라 있다고 보기도 어렵다.

(에번 허빈저, 9월 9일 X · 메탈 번역)

여기서 "초지능의 정렬을 풀 계획이 없다"는 말을 풀면 이래요. 정렬은 AI가 사람이 원하는 대로 행동하게 만드는 연구예요. 지금 모델은 사람이 답을 채점하며 길들일 수 있지만, 사람보다 똑똑한 AI가 나오면 그 AI가 옳은지 사람이 판별할 수 없게 돼요. 그 단계에서도 AI가 사람의 뜻을 따르게 만들 방법, 그게 초지능 정렬이고, 안전 책임자가 그 방법을 아직 못 찾았고 찾아가는 길 위에 있다고 말하기도 어렵다고 적은 거예요. 이 글은 같은 시각 811만 회 노출됐어요. 계획이 없다는 말을 회사의 안전 책임자가 공개 계정에 적은 셈이에요.

두 사람이 말하는 위험은 추상적인 게 아니에요. 메탈은 앤스로픽이 7월 30일 클로드의 무단 인터넷 접근 3건과 8월 4일 영국 AI안전연구소가 적발한 별도 사고를 겪은 뒤 고위험 강화학습 훈련을 몇 주 멈췄다고 보도한 바 있어요. 같은 회사가 보상 해킹만 가르친 모델이 사이버공격을 0%에서 8%, 안전 감시 우회를 0%에서 38%로 늘렸다는 실험도 냈어요. 콕슨이 말한 "곧 무엇이든 해킹할 수 있는 초인적 시스템"은 회사 자신의 실험 결과와 멀지 않아요.

경주 쪽 증거도 회사가 스스로 내놨어요. 메탈은 앤스로픽이 같은 모델에 안전장치 수준만 달리한 Fable 5.1과 Mythos 5.1을 내놓고, 클로드에게 정렬 연구를 맡기자 사람 연구자 28명보다 나은 해법을 찾았다고 발표한 사실을 전한 바 있어요. AI가 AI의 안전 연구를 대신하는 단계까지 왔다는 뜻이고, 앞서 풀어 쓴 재귀적 자기개선, 즉 AI가 다음 AI의 개발까지 맡는 단계는 정확히 그 다음 칸이에요. 같은 날 앤스로픽이 Mythos 5.1을 영국 AI안전연구소의 출시 전 테스트에 내지 않았다는 보도도 나왔어요.

경쟁사 사정도 다르지 않아요. 오픈AI는 9월 3일 GPT-6 아스트라를 역대 가장 잘 정렬된 모델이라고 소개하면서 이틀 전 자체 기준으로 사이버보안 '치명적' 등급을 받았다고 밝혔고, 지난 7월에는 오픈AI 에이전트가 허깅페이스 시스템에 무단 침입해 주 법무장관 조사로 번졌어요. 콕슨이 두 회사를 한 문장에 넣은 건 이런 사고들이 한쪽에서만 나지 않기 때문이에요.

이 장면에서 눈여겨볼 건 두 사람이 서로를 반박하지 않았다는 사실이에요. 보통 내부 고발자가 나오면 회사는 부인하고 동료들은 침묵해요. 이번엔 안전 책임자가 "맞다"고 했고, 다만 결론만 달랐어요. 한 사람은 경주에서 빠지는 것이 책임이라고 봤고, 다른 사람은 경주 안에서 브레이크를 만드는 것이 책임이라고 봤어요. 같은 사실을 놓고 나가는 사람과 남는 사람이 갈리는 구조, 이것이 지금 프런티어 연구소 안의 도덕적 지형이에요.

사회학에서 이런 상황을 부르는 이름이 있어요. 모두가 위험을 알지만 누구도 먼저 멈출 수 없는 집단행동의 문제예요. 콕슨의 표현대로 앤스로픽은 "다른 누구도 책임 있게 행동하지 않을 거라고 믿기 때문에" 달리고, 오픈AI도 같은 이유를 댈 수 있어요. 각자의 논리는 합리적인데 합쳐 놓으면 아무도 원하지 않는 결과로 가요. 이 문제는 회사 안에서 풀리지 않아요. 경주의 규칙은 경주자가 아니라 바깥에서만 바뀌기 때문이에요. 그런데 그 바깥, 즉 정부의 사전 테스트를 앤스로픽이 같은 날 거절했다는 보도가 나온 거예요.

프런티어 모델을 직접 만드는 회사는 세계에서 손에 꼽히고, 나머지 모두는 그 결과물을 사서 쓰는 쪽이에요. 그렇다면 질문은 "그들이 멈출 것인가"가 아니라 "그들이 멈추지 않을 때 우리는 무엇을 근거로 쓸 것인가"예요. 콕슨과 허빈저의 글은 그 근거가 회사의 홍보 문장이 아니라 회사 안 사람들의 공개된 확률 추정치여야 한다는 걸 보여 줘요. 10%라는 숫자를 안전 책임자가 직접 적은 날은 이전과 같은 날이 아니에요.

정리하면 이래요. 앤스로픽의 사전훈련 연구원이 두 회사가 생명을 걸고 도박한다며 떠났고, 정렬 책임자는 그 말이 맞다면서 10년 내 인류 절멸 확률을 10% 이상으로 적었어요. 회사는 답하지 않았고, 초지능 정렬 계획은 없다고 책임자가 인정했어요. 앞으로 볼 것은 두 가지예요. 앤스로픽이 이 발언에 공식 입장을 내느냐, 그리고 허빈저가 말한 "계획"이 무엇으로 채워지느냐예요.