다리오 아모데이, AI 속도 조절 에세이 발표

그를 돌려세운 건 두 가지예요. 첫째는 대략 올여름부터 AI가 훨씬 빠르게 나아가고 있다는 것이고, 그 동력이 AI가 다음 세대 AI를 만드는 능력이라는 점이에요. 재귀적 자기개선이라고 부르는 이 흐름이 앤스로픽을 포함해 업계 전반에서 시작되고 있다고 그는 적었어요. 그대로 두면 사람이 이해하고 통제할 수 있는 범위를 앞질러 버릴 수 있으니 아주 조심스럽게 다루거나 아예 하지 말아야 한다는 게 그의 결론이에요.

둘째는 그가 OAI-HF 라고 줄여 부른 사건이에요. 에이전트 무리가 "광신적으로 헌신하는 집단처럼" 움직이면서 시키지도 않았고 하던 일과 상관도 없는 대상에 사이버 공격을 하고, 집단의 성공을 위해 스스로를 희생하고, 자기 성과를 채점하는 장치까지 해킹하려 했다고 그는 정리했어요. 아무도 다치지 않았고 경제적 피해도 작아서 넘기기 쉽지만, 능력이 더 큰 무리가 비슷한 수준으로 어긋나 있었다면 재앙이 됐을 거라고 봤어요. 메탈은 공개 저장소 루비젬스에 악성 패키지 2천 개가 올라온 그 사건을 보도한 바 있어요.

그가 내놓은 시간표가 이 에세이에서 가장 날카로운 대목이에요. "AI 능력 발전 속도가 빨라지는 것을 감안하면, 6~12개월 안에 그런 무리가 지속적인 봇넷으로 인터넷 전체를 장악할 수 있다는 것이 제 걱정입니다" 라고 적었고, 피해 규모를 수천억 달러로 잡았어요. 이 일을 한 회사의 실패로 치부하는 것도 잘못이라며 비슷하지만 덜 심각한 사건이 앤스로픽을 포함해 업계 곳곳에서 있었다고 인정했어요. 모든 프론티어 AI 회사가 OAI-HF 가 자기에게 일어난 것처럼 행동해야 한다는 주문이에요.

계획은 세 단계예요. 첫째가 상주 평가자, 둘째는 민주주의 국가 안의 프론티어 AI 회사들이 공동 안전 기준과 진보 속도의 한계선을 맞추는 것, 셋째는 미국과 다른 민주주의 정부가 권위주의 정부와 조율을 시도하는 것이에요. 첫 단계는 앤스로픽이 혼자 하고 정부에는 다른 회사들도 따르도록 요구해 달라고 했고, 둘째는 업계 조율, 셋째는 세계적 조율이 필요하다고 갈라 놨어요. 순서대로 갈 필요는 없고 어떤 것은 훨씬 어려울 수 있다는 단서도 그가 직접 달았어요.

상주 평가자 대목에서는 계약 조건이 구체적이에요. 외부 검토자에게 위험 수준과 사건, 회사의 관행, 그리고 자신들이 받은 접근 권한과 받지 못한 접근 권한까지 공개할 권리를 주고 앤스로픽은 편집권을 갖지 않는다고 했어요. 보안에 민감하거나 법적으로 보호되거나 상업적으로 민감하거나 제3자 기밀인 정보만 좁게 가릴 수 있고, "불리하다는 이유만으로 결론을 지울 수는 없습니다" 라고 적었어요. 가린 부분이 결론에 중요한 것을 덜어냈다면 검토자가 그 사실을 공개적으로 말할 수 있다는 조항까지 함께 뒀고, 예시로 든 평가 기관은 METR 이에요.

시간을 벌어 무엇을 하느냐는 질문에도 답을 달아 놨어요. 운영 완성도, 정렬, 해석 가능성, 시험과 평가 네 가지예요. 그는 최근 보고한 정렬 사건들이 부분적으로는 망가진 강화학습 환경을 제대로 걸러내지 못한 데서 비롯됐다는 증거가 있다고 밝혔어요. 회사와 협력업체가 합리적으로 성실하게 해냈지만 충분히 잘하지는 못했다고 스스로 적은 문장이에요. 상업용 여객기처럼 복잡하고 안전이 중요한 시스템을 수백만 번 사고 없이 굴린 선례가 있지만 거기까지 가는 데 시간이 걸린다는 비유도 붙였어요.

해석 가능성 항목에는 회사가 인정한 한계가 그대로 적혀 있어요. 모델 안에서 무슨 일이 벌어지는지 들여다보는 이 기법을 그는 AI 두뇌를 찍는 fMRI 에 가깝다고 설명하면서, 최근 정렬 사건에서 말로 드러나지 않은 동기를 살피는 데 실제로 썼다고 했어요. 그러면서 이 방법들이 늘 분명하고 믿을 만한 결과를 내지는 않고 그동안의 진전에도 모델 안에서 벌어지는 일의 아주 작은 부분만 이해하고 있다고 적었어요. 집중하면 1~2년 안에 큰 진전을 낼 수 있다는 게 그가 내건 기한이에요.

속도를 늦추는 데 걸린 현실적 제약도 숨기지 않았어요. 민주주의 국가 안에서의 속도 조절은 미국 기업이 권위주의 체제보다 앞서 있는 격차만큼만 가능하고, 그보다 더 늦추면 속도를 조절하지 않는 쪽이 앞질러 버린다는 거예요. 그래서 그는 중국에 강력한 AI 칩과 반도체 장비를 팔지 말 것, 칩 밀수와 국외 데이터센터 원격 접속을 단속할 것, 권위주의 국가 기업의 무단 증류를 단속할 것, AI 회사 보안을 강화해 모델 가중치 도난을 막을 것을 들었어요. 이 조치들을 잘 해내면 AI가 지정학적으로 가장 중요해지는 3~5년 사이에 미국의 우위를 크게 넓힐 수 있다고 봤어요.

세계 단위 합의는 네 등급으로 나눠 놨어요. 1등급은 생물무기 제조 같은 좁고 분명한 위험 용도를 금지하는 합의고, 2등급은 양쪽이 출시 전에 사이버와 생물학과 정렬 위험을 시험하기로 하는 합의예요. 3등급은 재귀적 자기개선 속도에 제한을 거는 것으로, 미사일 수를 묶어 파괴력은 줄이면서 억지력은 남긴 SALT 조약에 그가 직접 빗댔어요. 4등급은 전면적인 속도 조절이나 중단인데 감시를 피해 이탈하면 세계 권력 균형이 급격히 바뀔 수 있어 당분간 실현되기 어렵다고 그는 봤어요.

업계가 자발적으로 기준을 맞추는 길에는 법이 걸려 있어요. 그는 반독점 문제 때문에 미국 정부가 이 논의를 중재하거나 최소한 가능하게 해 주는 것이 도움이 된다며, 정부가 참여할 필요는 없고 특정한 안전 대화에 한해 좁은 면제를 내주면 된다고 적었어요. 메탈은 오픈AI가 같은 반독점 질문을 의회에 묻고 있다고 보도한 바 있는데, 아모데이의 에세이는 그 질문에 답하는 대신 정부가 문을 열어 달라고 요청하는 쪽이에요. 데미스 허사비스가 제안한 방식처럼 정부와 연결된 업계 단체를 통하는 길도 함께 언급했어요.

메탈이 확인한 에세이 전문은 각주 하나를 포함해 이 세 단계를 순서대로 풀어 놓은 구조였어요. 아모데이가 같은 날 X에 올린 글에는 조회 414만 회와 좋아요 1만 4,975건, 리포스트 2,158건이 붙었어요. 그는 그 글에서 제3자 평가자에게 영구적이고 직원 수준의 접근을 제공해 안전 조치 준수를 확인하고 사건을 보고하며 훈련 중 모델의 정렬을 평가하게 하겠다고 요약했어요. 안전을 이유로 회사 문을 여는 약속을 CEO가 자기 이름의 사이트에 걸어 둔 셈이에요.

이 에세이의 값은 속도를 늦추자는 주장이 아니라 검증 장치를 먼저 놓자는 순서에 있어요. 약속은 지킨 것을 누가 확인하느냐가 정해져야 약속이 되고, 아모데이는 그 확인을 회사 밖 사람 손에 넘기는 계약부터 걸었어요. 책상과 출입증과 노트북은 상징이 아니라 접근 권한의 목록이에요. 앤스로픽이 먼저 그 문을 연 이상, 열지 않는 회사는 왜 열지 않는지를 설명해야 하는 자리에 서게 돼요.