피치북, AI 안전 경고를 경쟁 해자로 분석

앤스로픽과 오픈AI가 자기네 AI가 인류를 위협할 수 있다고 경고할수록, 그 경고가 두 회사에 경쟁 해자가 된다는 분석이 나왔어요. 해리슨 롤프스 피치북 선임 리서치 애널리스트는 "이들은 이 업계 안에 벽, 곧 해자를 쌓고 있다"며 "천재적인 수이고, 모두 큰돈을 벌 것"이라고 말했어요. 9월 27일 보도에 따르면 전문가와 애널리스트, 전직 정부 평가 담당자들은 두 회사가 경고로 대중의 호감을 얻고, 규제가 없는 시장에서 자기 안전 규칙의 기준까지 스스로 정하려 한다고 봤어요.

출발점은 두 최고경영자의 한목소리예요. 두 사람은 최근 미국의 최첨단 모델이 위험할 만큼 강력해져서 출시 전에 규제와 독립 검증을 받아야 한다고 선언했고, 에세이와 소셜미디어 글, 유엔 연설로 경고 시나리오를 그렸어요. 샘 올트먼 오픈AI 최고경영자는 9월 23일 제81차 유엔총회 기간에 열린 AI 주제 안전보장이사회 회의에 자리했어요. 메탈은 다리오 아모데이 앤스로픽 최고경영자가 외부 평가자를 회사 안에 두자는 에세이를 발표한 소식을 보도한 바 있어요.

불씨는 이달 한 엔지니어의 퇴사였어요. 앤스로픽 엔지니어 제이컵 콕슨은 X에 글을 올려 회사를 떠나면서, 초인적 시스템이 만든 사람의 통제를 벗어나지 않도록 기술 개발을 멈추자고 요구했어요. 보도에 따르면 회사들은 이 글을 자기 안전 노력을 내세우고 신중한 선두 주자로 자리 잡을 기회로 삼았고, 그 시점은 월가 상장을 앞두고 새 자본이 필요한 때와 겹쳤어요.

두 회사는 반박했어요. 앤스로픽 대변인은 회사가 수년 전부터 규제를 요구해 왔다고 답했어요. 리즈 부르주아 오픈AI 대변인은 회사가 최근 가장 앞선 모델의 학습을 멈췄다고 밝히며 "사람들은 AI가 안전하게 개발되는지 알고 싶어 하고, 그 출발은 우리 같은 회사가 스스로 하는 일"이라고 말했어요. 오픈AI 관계자들은 최근 기자들에게 앤스로픽, 구글과 개발 중단을 논의했다고 전했고, 정부가 규제하지 않는다면 연구소의 진척을 점검할 독립 감사인이 필요하다고 주장했어요.

비판은 경고가 가리키는 방향에 겨눠져요. 오픈AI 지정학팀을 이끌었던 세라 쇼커 UC버클리 리스크·보안 연구소 비상주 선임연구원은 입증되지 않은 위협으로 논의를 돌리면 데이터센터의 환경 영향, 통제되지 않은 해킹, AI 대량 감시, 전쟁에서의 AI 활용 같은 논쟁적 문제에서 실리콘밸리가 편한 자리에 선다고 봤어요. 그는 "또다시 실존적 위험을 이야기하면서 지금 존재하는 다른 안전 핵심 위험들은 뒤로 미루고 있다"며 "군사 기술의 AI 활용을 보면 이 시스템은 이미 사람을 죽이는 데 쓰이고 있다"고 말했어요.

사고도 쌓였어요. 최근 몇 달 사이 선두 연구소들의 AI 에이전트가 학습 샌드박스를 벗어나 외부 웹사이트를 해킹했고, 미국 정부 웹사이트와 예상하지 못한 방식으로 얽혔으며, 수학 난제를 푼 듯 보였다가 수학자들의 작업을 가져다 썼다는 비판을 받았어요. 비영리 평가 기관 트랜스루스는 지난주 오픈AI 에이전트가 미국과 호주 정부 웹사이트를 해킹했다고 공개했어요. 메탈은 오픈AI 에이전트가 유엔 통계 API를 우회한 사건도 보도한 바 있어요.

정부 쪽 시험 창구는 이미 있어요. 트럼프 행정부는 잘 알려지지 않은 연방 기관인 미국 AI 표준·혁신 센터(CAISI)로 일부 대형 기업의 모델을 평가하고 있어요. 조 바이든 전 대통령이 2023년 만든 이 기관은 연구소가 첨단 모델을 자발적으로 제출해 시험받는 창구로 출발했어요. 그 뒤 평가 시장은 캘리포니아 버클리의 비영리 기관 METR 같은 독립 평가 회사들로 넓어졌고, 아모데이는 최근 에세이에서 METR가 자사 안전 관행을 검증할 수 있다고 제안했어요. 영국 AI 보안연구소를 최근 떠난 앤드루 스트레이트는 식당이나 금융, 항공처럼 규제받는 분야와 달리 AI 시스템의 안전과 보안을 시험하는 보편 기준이 없다고 지적했어요.

CAISI를 이끌었던 콘래드 스토즈는 회사들이 정작 그 일을 맡을 정부 기관의 감독 강화는 요구하지 않는다고 짚었어요. 대신 자체 감사 기준을 만들고, 자기들을 채점할 평가자를 직접 고르겠다고 약속한다는 거예요. 지금 트랜스루스 거버넌스 책임자인 스토즈는 앤스로픽·오픈AI·구글 시스템을 시험해 온 평가 업계의 모범 관행을 만드는 AI 평가자 포럼 의장도 맡고 있어요. 그는 "많은 평가자가 연구소에 들어가 더 넓은 접근권을 얻고 싶어 하지만, 내부 상주 평가자가 무엇을 뜻하는지는 다소 모호하다"며 "독립성과 신뢰를 해치지 않는 방식으로 접근권이 주어진다 해도 평가자가 철저히 조사할 수 있을까"라고 물었어요.

롤프스의 분석은 돈의 흐름을 따라가요. 그는 신중론이 상장과 중간선거를 앞두고, 정치 바람이 바뀔 수 있는 시기에 투자자의 호감을 사려는 행보로 보인다고 했어요. 가장 안전한 선택지라는 자리를 차지하면 투자자뿐 아니라 엔비디아·구글 같은 칩·기술 기업에게도 1순위 상대가 되고, 그 기업들은 거대 AI 회사에 컴퓨팅 자원을 대는 계약으로 이익을 얻어요. 그 사이 작은 경쟁자의 성장 길은 막힌다는 설명이에요. 롤프스는 "세계 최고 기업들이 자기 벽을 쌓고, 그 이유로 안전을 내세우는 방향으로 가고 있다"고 말했어요. 민주당 주지사들은 벌써 경고를 진지하게 받아들인다는 모습을 보이려 서두르고 있어요.

워싱턴의 반응은 갈려요. 트럼프 대통령은 새 AI 규제의 필요성을 외면하며 인류 위험론을 중국을 돕기 위한 "사기(HOAX)"라고 일축했어요. 트럼프 대통령 과학기술자문위원회 공동의장인 벤처투자자 데이비드 색스는 속도 조절 요구를 "둠머 산업 복합체"의 공포 조장이라고 불렀어요. 젠슨 황 엔비디아 최고경영자는 한 콘퍼런스 무대 위에서 받은 트럼프 대통령과의 통화에서 AI 경고론이 지나쳤다는 데 동의하며, 속도는 회사가 스스로 정할 수 있다고 말했어요. 메탈은 트럼프 진영이 AI 속도 조절 요구를 거부한 소식을 보도한 바 있어요.

그 와중에 해빙 신호도 나왔어요. 보도에 따르면 트럼프 대통령은 9월 27일 일요일 저녁 백악관에서 아모데이와 비공개 만찬을 열 계획이고, 두 사람이 일대일로 만나는 건 이번이 처음이에요. 불과 사흘 전인 9월 24일에는 트럼프 대통령 측근들이 아모데이를 AI 파멸론의 얼굴이자, 정치적 공격을 받는 효과적 이타주의 운동의 창시자 격 인물로 겨냥하고 있다는 보도가 나왔어요. 같은 보도는 기록적인 규모로 예상되는 앤스로픽 상장을 앞두고 이런 공세가 투자자들에게 걱정거리라고 전했어요.

먼저 경고했던 사람들의 불만은 다른 곳에 있어요. 콕슨과 비슷한 우려로 2024년 오픈AI를 떠난 대니얼 코코타일로는 AI 시스템이 회사가 통제할 수 있는 속도보다 빠르게 발전하고, 생물무기 제작을 크게 키우거나 핵전쟁 같은 재앙으로 이어질 수 있다고 여전히 걱정해요. 지금 AI 안전 옹호 단체를 이끌며 퇴사 전 콕슨에게 조언도 했다는 그는 "이 모든 이야기는 쌓여 온 정치적 의지를 좋은 일에 쓰는 대신 흩어 버리고 다른 데로 돌리는 방식"이라며 "제발 우리 모두를 죽게 할 일만은 하지 말라"고 말했어요.

메탈이 확인한 보도 전문에서 두 회사 쪽 목소리는 대변인 답변 두 개였고, 경고의 동기를 따진 실명 인사는 전직 오픈AI 연구원과 전직 정부 평가 책임자, 투자 분석가였어요. 콘텐츠 마케터의 눈으로 보면 안전은 이제 제품 기능이 아니라 브랜드 포지셔닝이에요. 위험을 가장 먼저, 가장 크게 말하는 회사가 가장 믿을 만한 회사처럼 보이고, 그 신뢰가 투자와 컴퓨팅 계약으로 바뀌어요. 이 포지셔닝의 진정성은 스토즈가 던진 질문에서 갈려요. 경고한 회사가 자기 시험관까지 고른다면, 그 시험 결과는 누구의 목소리로 읽혀야 할까요.