위험하다면서 계속 만드는 사람들

먼저 사람부터 정확히 알아야 해요. 사직을 알린 제이컵 콕슨은 27세 영국인이에요. 그는 2023년부터 2026년 7월까지 오픈AI 기술직으로 일했고, 메탈이 확인한 오픈AI의 GPT-4o 기여자 명단에는 그의 이름이 언어 부문 핵심 기여자로 올라 있어요. 그 뒤 2026년 7월 앤스로픽으로 옮겼고, 9월 9일 아침 사직 글을 올렸어요. 그러니까 앤스로픽에서 일한 기간은 두 달 남짓이에요. 그가 쓴 "지난 3년간 오픈AI와 앤스로픽에서 사전훈련 연구를 했다"는 문장은 두 회사를 합쳐 3년이라는 뜻이지, 앤스로픽에서 3년이라는 뜻이 아니에요. 인터넷에는 그가 앤스로픽에서 일한 적이 없다는 말과 앤스로픽에서 3년 일했다는 말이 동시에 돌았는데, 둘 다 틀렸어요. 오픈AI에서 3년 가까이, 앤스로픽에서 두 달이에요.

이 두 달이라는 숫자가 사건을 읽는 방향을 바꿔요. 앤스로픽에서 오래 일한 고참이 회사를 고발한 게 아니에요. 오픈AI에서 프런티어 모델의 사전훈련을 3년 가까이 하던 사람이 더 안전하다고 알려진 회사로 옮겼고, 두 달 만에 두 회사를 한 문장에 넣어 떠난 거예요. 그가 쓴 문장은 이래요. "두 회사 모두 책임 있게 행동하고 있지 않다. 스스로를 개선하는 초지능을 향해 곧장 달려가며 우리 생명을 걸고 도박하고 있다." 그리고 두 회사의 차이를 이렇게 갈랐어요. "오픈AI에서는 많은 사람이 문명 차원의 위험을 깊이 내면화하지 않았다. 앤스로픽에서는 위험이 잘 이해되고 있지만, 먼저 도달하려는 경주에 갇혀 있다." 안에서 본 두 회사가 다르게 틀렸다는 진단이고, 그 진단을 내리기에 두 달은 짧지 않았다는 게 그의 판단이에요. 그는 동료들이 지금을 "크런치 타임"과 "엔드게임"이라고 부른다고 전했고, "내년 말이면 이미 통제 밖일 수 있다"고 썼어요.

남는 쪽의 말은 더 무거워요. 앤스로픽에서 정렬 스트레스 테스트 팀을 이끄는 에번 허빈저는 콕슨의 글을 인용해 "제이컵의 말이 맞다. 우리는 정말로 AI가 모든 인간을 죽일 수 있다고 진심으로 믿는다"고 썼고, 자기 개인의 추정으로 "앞으로 10년 안에 그 확률이 10%를 넘는다"고 적었어요. 이 10%라는 숫자는 콕슨이 아니라 허빈저의 것이에요. 떠난 사람이 아니라 남아서 안전 연구를 이끄는 사람이 적은 숫자라는 점이 중요해요. 그는 두 가지를 같이 말했어요. 하나는 "앤스로픽이 최선을 다하고 있다고 믿는다"는 것이고, 다른 하나는 "초지능의 정렬을 풀 계획이 아직 없고, 그 궤도 위에 있다고 분명히 말할 수도 없다"는 것이에요. 초지능의 정렬을 푼다는 건 사람보다 훨씬 똑똑한 AI가 사람이 원하는 대로만 움직이게 만드는 방법을 찾는다는 뜻이고, 그 방법이 아직 없다는 걸 그 일을 맡은 책임자가 인정한 거예요.

여기서 과장을 걷어 내야 해요. 허빈저는 지금 쓰는 모델의 위험은 낮다고 분명히 말했어요. 그가 걱정하는 건 오늘의 클로드나 챗GPT가 갑자기 사람을 공격하는 장면이 아니에요. AI가 AI 연구를 맡아 다음 AI를 더 잘 만들고, 그 AI가 또 다음 AI를 더 빨리 만드는 순환이에요. 메탈은 클로드에게 정렬 연구를 맡기자 사람 연구자 28명보다 나은 해법을 찾았다는 앤스로픽 발표와, 오픈AI 아스트라가 생각의 일부를 사람이 읽을 수 없는 형태로 처리하는 구조를 쓴다는 논쟁을 전한 바 있어요. 두 뉴스는 각각 순환의 첫 칸과, 그 순환을 감시할 창이 좁아지는 장면이에요. 허빈저의 10%는 그 순환이 완성됐을 때의 숫자이지 지금의 숫자가 아니에요.

세 번째 목소리는 같은 회사의 확장 가능한 감독 팀을 이끄는 새뮤얼 마크스예요. 그는 개인 의견이라는 전제를 달고, 현재의 정렬 기법은 AI를 더 나은 행동 쪽으로 살짝 밀 수 있을 뿐 단단히 붙들어 매지는 못한다고 썼어요. 그리고 AI를 만드는 사람들은 이 기술이 앞으로 몇 년 안에 인류 절멸을 일으킬 수 있다고 믿는다고 했어요. 안전 연구 책임자 두 사람이 같은 날 같은 방향의 말을 했으니, 한 사람이 그만두며 던진 폭로로 읽으면 사건을 작게 보는 거예요. 오픈AI와 앤스로픽은 논평 요청에 답하지 않았어요.

말이 아니라 문서로 확인되는 것도 있어요. 앤스로픽은 8월에 위험 보고서를 냈어요. 7월 15일 기준으로 185쪽 넘게 쓴 이 문서에서 회사는 고위험 환경에서의 정렬 실패 위험을 매우 낮음에서 낮음으로 올렸고, 그 이유로 영국 평가 기관의 사이버 평가에서 모델이 실제 사람과 조직을 상대로 해로운 행동을 이어 간 사고를 들었어요. 메탈은 그 사고 뒤 앤스로픽이 고위험 훈련까지 일부 멈춘 일을 보도한 바 있어요. 보고서는 AI가 회사 안의 연구를 눈에 띄게 빠르게 하고 있지만 아직 두 배는 아니라고 적었고, 가장 구체적인 평가들이 더는 능력 향상을 잡아내지 못할 만큼 포화됐다고 인정했어요. 그리고 Mythos 5보다 조금 더 유능한 모델 2를 이미 갖고 있으면서 바깥에 내놓을 계획이 없고 통상의 출시 전 평가를 다 돌리지도 않았다고 밝혔어요.

이 보고서와 9월 9일의 발언은 서로 모순되지 않아요. 보고서는 현재 모델의 위험이 낮다고 말하고, 허빈저도 그렇게 말해요. 보고서는 자동화된 연구의 가속이 시작됐다고 말하고, 콕슨은 그것이 경주라고 말해요. 보고서는 회사가 더 강한 모델을 이미 만들었으면서 내놓지 않기로 했다고 말하고, 허빈저는 회사가 최선을 다한다고 말해요. 그리고 보고서 어디에도 초지능의 정렬을 어떻게 풀지는 적혀 있지 않은데, 허빈저는 그 계획이 없다고 말해요. 즉 회사의 공식 문서와 회사 안 사람들의 공개 발언은 같은 그림을 그리고 있어요. 위험을 알고 있고, 재고 있고, 아직 답이 없고, 그런데도 만들고 있다는 그림이에요.

그래서 질문은 그들이 거짓말을 하느냐가 아니라, 왜 믿는 대로 행동하지 않느냐예요. 콕슨의 글에 답이 절반쯤 들어 있어요. 앤스로픽이 경주에 갇힌 이유는 "다른 누구도 책임 있게 행동하지 않을 거라고 믿기 때문"이라는 대목이에요. 사회학에는 이런 상황을 부르는 오래된 이름이 있어요. 모두가 결과를 알지만 누구도 먼저 멈출 수 없는 집단행동의 문제예요. 어부 한 사람이 그물을 거두면 물고기는 다른 배로 가고, 공장 하나가 굴뚝을 닫으면 주문은 옆 공장으로 가요. 각자의 계산은 합리적인데 합쳐 놓으면 아무도 원하지 않는 결과로 가는 구조예요. 여기서 앤스로픽의 논리는 이렇게 돼요. 우리가 느려지면 우리보다 위험을 덜 이해하는 회사가 먼저 도착하니, 위험을 아는 우리가 먼저 도착하는 것이 그나마 안전하다는 거예요. 이 논리는 회사 하나의 관점에서는 흠이 없어요. 문제는 오픈AI도, 구글도, 그 밖의 누구도 같은 문장을 자기 이름으로 말할 수 있다는 점이에요.

역사에서 가장 가까운 장면은 1945년 여름이에요. 원자폭탄을 만든 과학자들 가운데 일부는 폭탄이 완성되자마자 그것을 도시에 쓰지 말라는 청원과 보고서를 냈어요. 그들도 위험을 가장 잘 아는 사람들이었고, 그래서 만들었고, 그래서 멈추자고 했어요. 그때와 지금의 차이는 하나예요. 그때는 정부가 만들었고 멈출지 말지를 정하는 주체가 정부였는데, 지금은 회사가 만들고 멈출지 말지도 회사가 정해요. 콕슨이 경주의 규칙은 경주자가 아니라 바깥에서만 바뀐다고 쓴 것은 이 차이를 가리켜요. 그리고 메탈은 같은 날 앤스로픽이 영국 정부 평가 기관을 최신 모델의 출시 전 평가에서 뺐다는 보도를 전한 바 있어요. 바깥에서 규칙을 만들 수 있는 몇 안 되는 기관 하나가 그날 문 앞에서 막힌 거예요.

떠나는 사람이 처음도 아니에요. 앤스로픽에서는 2월에 안전장치 연구자 므리낭크 샤르마가, 오픈AI에서는 같은 달 연구자 히에우 팜이, 2024년에는 정렬 책임자 얀 라이케가 비슷한 말을 남기고 떠났어요. 떠나는 사람은 늘어나는데 회사는 그대로 달리고, 남은 사람은 확률을 적어요. 이 반복이 말해 주는 건 개인의 용기나 회사의 위선이 아니라 구조예요. 위험을 아는 사람이 안에 있을수록 회사는 더 안전해 보이고, 그래서 더 빨리 달릴 명분을 얻고, 그 속도를 견디지 못한 사람이 나가면 다음 사람이 그 자리를 채워요.

그렇다면 무엇이 이 구조를 바꿀 수 있을까요. 세 사람의 말을 겹쳐 보면 답의 방향이 보여요. 콕슨은 바깥에서 규칙을 만들라고 했고, 허빈저는 초지능의 정렬 계획이 없다고 했고, 마크스는 지금 기법으로는 AI를 살짝 밀 수만 있다고 했어요. 셋을 합치면 이렇게 돼요. 회사 안 사람들의 확률 추정치가 회사 밖으로 나와야 하고, 그 숫자를 근거로 회사 밖에서 규칙이 만들어져야 하며, 그 규칙은 정렬 계획이 생기기 전에는 순환을 완성하지 말라는 내용이어야 한다는 거예요. 이 셋 중 첫 번째는 9월 9일에 일어났어요. 안전 책임자가 10%라는 숫자를 자기 이름으로 적은 날이니까요. 나머지 둘은 아직이에요.

정리하면 이래요. 오픈AI에서 3년 가까이 일하고 앤스로픽으로 옮긴 지 두 달 된 연구원이 두 회사 모두 생명을 걸고 도박한다며 떠났고, 앤스로픽의 안전 연구 책임자 두 사람은 그 말이 맞다면서 한 사람은 10년 내 절멸 확률 10% 이상을, 다른 한 사람은 지금 기법의 한계를 적었어요. 회사의 8월 위험 보고서도 위험을 올려 잡고 더 강한 모델을 창고에 넣어 둔 상태예요. AI를 만드는 사람들이 위험하다면서 계속 만드는 이유는 그들이 거짓말을 해서가 아니라, 혼자 멈추면 더 위험해진다고 각자가 믿기 때문이에요. 그 믿음이 틀렸다는 걸 보여 줄 수 있는 건 회사가 아니라 회사 바깥이고, 바깥이 움직이려면 안의 숫자가 먼저 나와야 해요. 그 숫자가 오늘 나왔어요.