코히어 고메즈, AI 규칙 카르텔 반박 에세이

그가 반대하는 지점은 분명해요. 고메즈는 "AI에는 가드레일이 필요합니다. 그것은 논쟁거리가 아니고 한 번도 논쟁거리였던 적이 없습니다" 라고 쓴 뒤, 논쟁은 누가 규칙을 쓰고 누가 참여하며 누구의 이익을 보호하느냐에 있다고 못 박았어요. 고성능 AI 시스템에 대한 독립적 검토 자체는 좋은 생각이고 코히어도 지지한다고 그는 밝혔어요. 문제 삼은 것은 아모데이 계획의 구조예요. 한 나라에 있는 가장 강력한 몇 개 연구소가 공동 기준과 진보 속도의 한계를 합의하고, 경쟁사끼리 생산을 제한하는 합의는 보통 불법이라 정부에 좁은 반독점 예외를 요청하며, 나머지 모든 AI 개발자에게는 그 합의를 따르도록 정부가 강제해 달라고 요구한다는 게 그의 요약이에요. 메탈은 그 에세이가 상주 평가자, 민주주의 국가 안의 조율, 세계적 조율 세 단계로 짜여 있다고 보도한 바 있어요.

변호사 눈으로 보면 이 에세이의 무게는 역사 두 토막에 있어요. 고메즈에 따르면 1975년 미국 증권거래위원회는 자본 규제에 쓸 신용등급이 필요해 세 회사를 국가공인통계평가기관으로 지정했고, 다른 회사가 어떻게 그 자격을 얻을 수 있는지는 끝내 공개하지 않았어요. 25년이 지나도 평가기관은 여전히 셋뿐이었고, 그 셋이 서브프라임 모기지 증권에 최고 등급을 매겨 세계 경제를 무너뜨릴 뻔했다는 거예요. 두 번째는 1985년 유럽의 자동차 블록 면제예요. 제조사들이 자동차는 복잡하고 안전이 중요한 기계라며 누가 팔고 고칠 자격이 있는지 자기들이 정해야 한다고 로비했고, 그 결과 안전한 차가 아니라 기존 업체를 보호하는 시장 구조가 남았으며 유럽집행위원회가 이를 되돌리는 데 약 25년이 걸렸다고 그는 적었어요. 두 사례 모두 명시된 목표는 안전이었고 아무도 카르텔을 만들려고 하지 않았다는 대목이 이 글에서 가장 날카로운 문장이에요.

그가 아모데이 에세이에서 콕 집어낸 문장도 경쟁법의 언어예요. 조율된 접근이 개발자들에게 상업적 우위를 희생하지 않고 안전 작업을 할 시간을 준다는 약속인데, 고메즈는 "누구의 우위입니까" 라고 되물었어요. 지금 시장 꼭대기에 있는 회사들이 틀을 짜면서 자기 우위를 보존한다고 명시한 장치는 AI를 더 안전하게 만드는 게 아니라 오늘의 우위를 안전하게 경쟁하기 위한 기준선으로 굳힌다는 논리예요. 그는 제안서에 적힌 참가 조건도 나열했어요. 방대한 컴퓨팅 자원, 상시 모니터링 인프라, 전담 보안 조직, 책상과 출입증을 가진 상주 평가팀, 셧다운 구조, 그리고 이 모든 것을 헤쳐 나갈 만큼 깊은 정부 관계예요. 그 위에 얹힌 한 줄이 이 글에서 가장 많이 인용될 문장이에요. "정부에 AI가 실존적 위협이라고 설득하면, 당신의 경쟁자를 불법으로 만들도록 설득할 수 있습니다."

대안으로 그는 네 기둥을 내놨어요. 첫째는 증거 기반 위험 틀이에요. 어떤 능력이 어떤 조건에서 어떤 해악을 낳고 정부가 언제 개입해야 하는지를 먼저 공개적으로 합의하되, 한 나라가 아니라 이 기술을 개발하는 여러 나라가 함께 만들고, 서로 의견이 다른 연구자를 한 방에 넣어 그 불일치까지 공개하자는 제안이에요. 시험 역량은 측정 대상 기업의 예산이 아니라 공공 연구기관이 맡고, 규칙은 누가 만들었느냐가 아니라 시스템이 무엇을 할 수 있느냐에 따라 적용해야 한다고 했어요. 둘째는 의무적 투명성, 셋째는 증거로 범위를 정한 시험, 넷째는 금융 인가와 항공 안전 기준과 원자력 사찰처럼 이미 검증된 방식을 빌린 보증 장치예요. 시험 대상으로 그가 든 것은 사이버 공격, 합성 사기와 음성 복제, 대규모 조작, 물리·생화학 무기, 핵심 인프라에 닿는 모든 것이고, 인증은 지정된 개발사 등급이 아니라 모든 회사에 열려 있어야 한다고 적었어요.

가장 논쟁적인 대목은 위험 자체를 다루는 방식이에요. 고메즈는 이번 주 한 대형 연구소를 그만둔 연구자가 초지능이 10년 안에 인류를 쓸어버릴 가능성이 높다고 경고했고 한 선임 동료가 그 확률을 10% 이상으로 본다고 거들었다는 사례를 들면서, 그 숫자들이 "직감이고 분위기이며 소수점으로 표현된 느낌" 이라고 적었어요. 시스템이 더 유능해질수록 요청한 것과 실제로 얻는 것의 거리가 알아채기 어려워진다는 걱정 자체는 정확히 짚었지만, 그것이 곧 통제를 벗어났다는 뜻이라는 주장은 판단이지 발견이 아니라는 게 그의 구분이에요. 그는 7월에 보도된 실패가 세계에서 가장 자원이 많고 안전팀이 가장 큰 두 연구소 안에서 일어났고, 그중 한 곳은 이미 2월부터 METR과 외부 평가 체계를 세우고 있었다고 지적했어요. 아모데이가 제안한 처방은 사고가 났을 때 이미 있던 것과 대체로 같다는 거예요. 메탈은 에이전트 무리가 공개 저장소에 악성 패키지 2천 개를 올린 그 사건을 보도한 바 있어요.

그가 대신 내놓은 처방은 훨씬 덜 극적이에요. 심각한 사고를 의무적으로 보고해 한 회사의 잘못된 훈련 설정이 업계 전체의 교훈이 되게 하고, 알려진 취약 지점을 상대로 시험하고, 시험 중 관측이나 최소한 로그를 남기게 하고, 병원부터 변전소까지 핵심 인프라에 연결된 것은 가능하면 온프레미스로 격리하라는 거예요. 그리고 이 모든 것을 회사 크기가 아니라 시스템이 배치된 자리와 닿을 수 있는 대상에 따라 적용하라고 했어요. "병원 안에 앉아 있는 작고 설명이 부실한 모델은 오늘 당장 살아 있는 위험이고, 프론티어만 보는 체제에서는 아무도 그것을 들여다보지 않습니다" 라는 문장이 그 논리를 압축해요. 전화 요금보다 싼 음성 복제 도구가 몇 분 만에 연금 수급자의 계좌를 비울 수 있다는 예도 들었는데, 초지능 담론이 지금 사람들이 겪는 피해에서 눈을 돌리게 한다는 게 그의 주장이에요.

이 글에는 코히어의 이해관계도 그대로 적혀 있어요. 고메즈는 자신이 은행과 통신망과 국방부 안에 배치되는 AI 시스템을 만드는 회사를 운영한다고 밝혔고, 핵심 인프라는 닫힌 인터페이스 뒤의 외국 독점 기업에서 국가 역량을 빌려 오는 방식으로는 지킬 수 없다고 썼어요. 주권과 현지 배치와 기술 다양성에서 안보가 나온다는 결론은 코히어가 파는 제품의 설명과 겹쳐요. 그도 이 점을 숨기지 않고 "저는 제가 모든 답을 갖고 있다고 믿지 않으며, 대신 제가 규칙을 만들어야 한다고도 생각하지 않습니다" 라고 적었고, 코히어 같은 회사에도 불리한 판정을 내릴 사람들, 상업적 이해가 없는 학자와 이 업계 전체가 너무 빠르다고 보는 시민단체와 소규모 연구소와 오픈소스 개발자까지 포함하는 절차를 요구했어요.

반응은 다른 방향에서도 왔어요. 벤처 투자자 데이비드 색스는 9월 13일 X에 아모데이의 속도 조절 제안에 샘 올트먼 오픈AI CEO가 동의했다고 전하면서 "그렇게 하세요" 라고 썼어요. 두 회사가 시장 점유율과 매출 성장과 모델 능력 어느 기준으로 봐도 프론티어 지능을 과점하고 있으니 속도를 늦추는 데 다른 누구의 허락도 필요 없다는 논리예요. 그는 반독점법을 정지시켜 카르텔을 만들어야 한다는 척, 제조물 책임을 대체하는 규제 승인 절차가 필요하다는 척, 앤스로픽 투자자 및 직원과 얽힌 METR이 독립적이라는 척을 그만두라고 적었고, 허깅페이스 사건 이후 예측 가능성을 위해 성능 일부를 내주는 것은 이타주의가 아니라 그냥 좋은 사업이라고 했어요. 원하는 규제 틀을 조건으로 내거는 것은 "공중과 정치 체제에 대한 협박처럼 보일 것" 이라는 문장도 있어요. 메탈이 확인한 이 게시물은 하루 만에 조회 770만 회를 넘겼어요.

메탈은 아모데이가 지난 8월 규제가 곧 권력 집중이라는 주장을 거짓 이분법이라고 반박했다고 보도한 바 있어요. 한 달 뒤 논쟁의 축이 바뀌었어요. 규제가 필요한가가 아니라 규제를 누가 쓰는가로 옮겨 갔고, 아모데이와 그에게 동의했다는 올트먼이 한편에, 코히어와 색스가 각자의 이유로 반대편에 섰어요. 고메즈의 마지막 문장은 그 선택지를 둘로 갈라요. 안전과 속도 조절과 남의 개입을 말하거나, 아니면 책임 있게 지속 가능한 속도로 그냥 만들거나예요. 코히어는 후자를 택했다고 그는 적었고, 이 논쟁의 다음 장은 어느 정부가 먼저 어느 쪽 문장을 법으로 옮기느냐에서 시작돼요.