샘 올트먼, 유엔 안보리 AI 연설

샘 올트먼 오픈AI 최고경영자가 9월 23일 뉴욕 유엔 안전보장이사회(안보리) 회의장에서 AI 연설을 했어요. 핵심 요구는 역량 측정과 위험 평가, 안전장치의 충분성 판단, 사람의 실질적 감독 유지를 위한 국가·국제 프런티어 AI 표준을 함께 짤 장치예요. 그는 "우리는 과거에도 일방적으로 속도를 늦췄고, 앞으로도 그렇게 할 것" 이라며 경쟁에서 이기는 것이 성급한 결정의 이유가 될 수 없다고 말했어요. 오픈AI는 같은 날 연설 전문을 공개했어요.

회의는 9월 안보리 의장국인 프랑스가 소집했고 장노엘 바로 프랑스 외교장관이 주재했어요. 유엔에 따르면 브리핑에는 요슈아 벤지오 유엔 독립 국제 AI 과학 패널 공동의장, 올트먼, 다리오 아모데이 앤스로픽 최고경영자, 클레망 들랑그 허깅페이스 최고경영자가 나섰어요. 보도에 따르면 올트먼은 두 번째 발표자였고, 이번 회의는 점점 강해지는 AI의 안전 위험만을 다룬 안보리 첫 회의예요. 서면 합의문은 나오지 않을 것으로 예상됐어요.

올트먼은 먼저 선택지를 제시했어요. 그는 "AI는 창의와 발견의 새로운 르네상스가 될 수도, 격변과 혼란의 새로운 산업혁명이 될 수도 있다" 고 말했어요. 이어 AI를 만드는 사람들이 해 온 말 가운데 일부는 너무 디스토피아적이어서 형편없는 공상과학 영화 줄거리처럼 들린다고 꼬집었어요. 앞서 발언한 벤지오의 진단에는 대체로 동의하지만 위험은 세 가지가 아니라 두 가지라고 짚었어요. AI에 미래의 통제권을 잃는 것, 그리고 너무 적은 손에 힘이 몰리는 것이에요.

첫 번째 위험에 대해 그는 확률 논쟁을 일축했어요. 파국 위험을 10%로 보든 1%로 보든 0.1%로 보든 어느 수준도 받아들일 수 없고, 사람의 통제 아래 둘 수 있다는 매우 강한 근거를 대지 못하는 모델은 훈련하지 말아야 한다는 거예요. 스스로를 개선하는 재귀적 자기 개선 단계에 가까워질수록 AI 발전 속도가 급격히 빨라질 수 있어 극도의 주의가 필요하다고도 했어요. 두 번째 위험에 대해서는 "어떤 개인이나 기업, 국가도 가장 강력한 AI 모델로 자기 세계관을 모두에게 강요할 수 있어서는 안 된다" 고 말했어요.

오픈AI가 내건 원칙은 세 가지였어요. AI 의사결정의 중심에 사람을 두고, 과학 발전과 경제 성장의 혜택이 사람에 의해 사람을 위해 쓰이게 하고, 기술이 개인에게 힘을 주게 한다는 거예요. 올트먼은 "우리는 이 기술을 만드는 이들 가운데 하나일 수 있지만, 이 이야기의 영웅은 아니다" 라고 말했어요. 수학 성과도 꺼냈는데, 세 여름 전 초등 수학 수준이던 모델이 지난여름 가장 권위 있는 국제 수학 대회에서 금메달 수준에 이르렀고 몇 주 전에는 밀레니엄 난제인 나비에-스토크스 방정식을 풀었다는 주장이에요. 보도에 따르면 이 결과는 아직 독립적으로 검증되지 않았어요.

제안의 뼈대는 네 갈래예요. 국가와 국제 수준이 서로 보완하는 프런티어 AI 표준, 나라마다 증거를 비교하고 준수를 검증할 공통 기준, 실패가 파국이 되기 전에 배우도록 하는 빠르고 정확한 사고 보고와 분류 규약, 정부와 핵심 기반시설 운영자, 기술 전문가 사이에 새 취약점과 위협을 나눌 보안 채널이에요. 그는 이 표준이 기존 강자를 굳히거나 특정 사업 모델을 편들어서는 안 되고, 오픈 모델과 폐쇄 모델 개발자, 신규 진입자와 기성 연구소를 모두 받쳐야 한다고 했어요. 메탈은 오픈AI가 하루 전 낸 프런티어 AI 국제 표준 제안을 보도한 바 있으며, 이번 연설은 그 제안을 안보리 무대로 옮긴 셈이에요.

같은 자리의 목소리는 엇갈렸어요. 화상으로 연결한 아모데이는 AI 오용과 통제 상실을 두 가지 전 지구적 위험으로 꼽고 "잘못 관리되면 AI는 인류 전체에 위험이 될 수 있다" 고 말했어요. 그는 생물무기 제작에 AI를 쓰지 못하게 하는 식의 좁은 합의, 발전 속도를 따라가는 평가 체계, 통제 상실과 오용 위험을 시험하는 공통 기준을 제안했어요. 반면 마이클 크라치오스 백악관 과학기술정책실장은 미국이 "초지능에 대한 세계주의적 통제 구상 시도를 전면 거부한다" 고 밝혔어요. 푸충 중국 대사는 AI가 부유한 나라와 부유한 사람들만의 게임이 돼서는 안 된다고 했어요.

회의 직전 흐름도 무게를 더했어요. 보도에 따르면 도널드 트럼프 미국 대통령은 하루 전 유엔 총회 연설에서 AI를 통제하려는 세계주의적 구상을 비판하며 기술 발전을 억누르지 않겠다고 말했어요. 7월에는 오픈AI 모델 두 개가 격리 환경을 벗어나 허깅페이스를 침해한 사건이 있었고, 오픈AI는 일부 연구와 훈련을 잠시 멈췄어요. 벤지오는 이날 AI 에이전트들이 최근 몇 달 동안 사람이 했다면 범죄가 됐을 행동을 했다며 위험이 실재하고 임박했다고 경고했어요. 메탈은 이 사건을 다룬 유엔 AI 과학패널 브리프도 전했어요.

테크 변호사의 눈으로 보면 이 연설에서 가장 법적인 문장은 표준의 효력을 스스로 낮춘 대목이에요. 올트먼은 각 정부가 표준을 자국 법체계에 어떻게 반영할지 스스로 정해야 한다고 했어요. 강제력 있는 조약이 아니라 무엇이 좋은 증거와 안전장치, 감독인지에 대한 공통 언어를 먼저 만들자는 제안이라, 구속력은 결국 각국 입법에서 생겨요. 보도에 따르면 가장 중요한 결정은 국민에게 책임지는 정부가 민주적 절차로 내려야 한다는 조건은 AI를 빠르게 키우는 일부 나라를 논의에서 밀어낼 수도 있어요. 미국 정부가 전 지구적 거버넌스를 거부한 자리에서 미국 기업 수장이 국제 표준을 요구한 만큼, 사고 보고 규약과 보안 채널처럼 합의 문턱이 낮은 절차부터 조문이 될 가능성이 커요.