샘 올트먼, 초지능 안전 방안 3가지 설명

샘 올트먼 오픈AI 최고경영자(CEO)가 지난주 직원들과의 대화에서 초지능을 안전하게 개발하는 방안 3가지를 설명한 것으로 알려졌다. 19일(현지시간) 보도에 따르면 첫째는 국제원자력기구(IAEA)를 본뜬 국제 감독 기구, 둘째는 주요 AI 연구소를 한 기관으로 묶는 데미스 플랜, 셋째는 한 회사가 압도적인 힘을 쥐고 다른 모든 회사의 GPU를 녹여 버리는 엘리저 플랜이다. 올트먼은 세 번째 방안을 두고 "당연히 그것은 끔찍하다고 생각한다"고 말했고, 가능한 경우를 빠짐없이 짚으려고 목록에 넣었다고 설명한 것으로 전해졌다. 오픈AI를 그 독점 기업으로 지목했다는 내용은 보도에 없다.

가장 극단적인 세 번째 방안은 재귀적 자기 개선(RSI)에서 출발한다. AI가 자기 다음 버전을 스스로 더 낫게 고치고, 나아진 버전이 다시 그다음 버전을 고치는 순환이다. 올트먼이 설명한 장면에서는 이 순환에 먼저 올라탄 한 개발사가 그렇게 얻은 기술력과 경제력으로 다른 개발사들이 쓸 컴퓨팅 자원을 막고, 가장 극단적인 경우 경쟁사의 칩 자체를 못 쓰게 만든다. 위험할 수 있는 초지능을 다른 누구도 만들지 못하게 한다는 명분이지만, 결과적으로 AI를 개발할 능력 전체가 한 회사 손에 들어간다.

엘리저 플랜이라는 이름은 기계지능연구소(MIRI)를 세운 AI 위험 이론가 엘리저 유드코프스키에게서 왔다. 유드코프스키는 2022년 글 AGI 파멸, 치명적 요인 목록(AGI Ruin: A List of Lethalities)에서 범용인공지능(AGI)을 가진 주체가 하나이거나 소수일 때 다른 이들이 통제되지 않는 AGI를 만들지 못하게 판을 뒤집는 결정적 행동(pivotal act)을 해야 한다고 썼다. 그러면서 "내가 보통 드는 예는 모든 GPU를 태우는 것"이라고 적었다. 같은 문단에서 그는 이것이 강력한 AGI로 실제로 하고 싶은 일은 아니며, 다른 누군가가 6개월이나 3년 뒤 세상을 파괴하지 못하게 막는 데 필요한 힘의 크기를 다소 부풀려 보여 주는 예라고 덧붙였다. 유드코프스키가 필요한 힘의 크기를 설명하려고 든 예시를, 올트먼은 업계가 실제로 갈 수 있는 길 가운데 하나로 직원들 앞에 올려 둔 셈이다.

관계자들이 올트먼이 지지하는 듯했다고 전한 것은 첫 번째 방안이다. 국제기구가 AI 안전 기준을 정하고 집행하는 구상인데, 오픈AI가 처음 꺼낸 말은 아니다. 메탈이 확인한 2023년 5월 22일 오픈AI 글 초지능 거버넌스(Governance of superintelligence)에서 올트먼은 그렉 브록먼, 일리야 수츠케버와 함께 일정 능력이나 컴퓨팅 같은 자원 기준을 넘는 개발은 시스템을 검사하고 감사를 요구하며 안전 기준 준수를 시험하는 국제기구의 감독을 받아야 할 것이라고 썼다. 같은 글은 배포 범위와 보안 수준을 제한하는 권한까지 그 기구에 맡기고, 컴퓨팅과 에너지 사용량을 추적하면 이 구상을 실제로 집행할 수 있다고 봤다. 자동차 정기검사에 빗대면 구조가 보인다. 어느 회사가 만든 차든 일정 크기를 넘으면 같은 검사장을 거쳐야 하고, 그 검사장은 제조사가 운영하지 않는다.

두 번째 방안에는 데미스 허사비스 구글 딥마인드 공동창업자의 이름이 붙었다. 허사비스가 약 10년 전 유럽입자물리연구소(CERN) 같은 국제 공동 AI 연구 기관을 제안한 데서 따온 이름이다. 올트먼이 설명한 판에서는 주요 연구소들이 사실상 한 조직으로 합쳐지거나 한 조직 아래에서 일하고, 그 조직이 모델 개발과 시험, 배포를 맡아 협력하는 나라들에 모델을 공급한다. 허사비스의 원래 구상이 연구소 통합까지 염두에 둔 것이었는지는 확인되지 않았다. 2023년 오픈AI 글에도 비슷한 갈래가 있었는데, 주요 정부가 지금의 여러 개발 노력이 참여하는 공동 프로젝트를 세우거나 최전선 AI 능력의 성장 속도를 해마다 일정 비율로 묶는 데 함께 합의하는 방식이다.

세 방안은 결국 초지능을 만드는 힘을 어디에 둘지에 대한 서로 다른 답이다. IAEA형 기구는 그 힘을 여러 나라가 나눠 감시하는 구조이고, 통합 연구소는 하나의 공동 조직에 모으는 구조이며, 엘리저 플랜은 감독하는 쪽 없이 한 회사에 몰아주는 구조다. 앞의 두 길은 합의라는 비싼 값을 치러야 한다. 국제 감독 기구는 중국을 포함해 최전선 모델을 만드는 나라들이 같은 규칙에 서명해야 서고, 연구소 통합은 주주가 서로 다른 영리 기업들의 이해를 하나로 맞춰야 한다. 엘리저 플랜은 그 합의를 건너뛰는 대신 견제 장치를 통째로 없앤다. 보도에 따르면 오픈AI는 4월 내놓은 원칙 문서에서도 미래의 권력이 초지능을 쥔 소수 기업에 몰리기보다 개인들에게 넓게 나뉘는 쪽을 원한다고 밝혔다.

올트먼은 이 속도 조절 논의를 페이싱(Pacing) 2.0이라고 불렀다. 보도에 따르면 지금의 페이싱 1.0은 정해진 안전성 평가를 통과한 모델을 내놓고 관련 안전 문제를 공개하는 방식이고, 페이싱 2.0은 스스로 성능을 높이는 AI에 속도 제한을 걸거나 개발과 출시를 멈출 기준까지 정하는 단계다. 그는 실제로 쓸 만한 AI 개발 속도 제한 제안이 너무 적다고 불만을 털어놓은 것으로 전해졌다. 동시에 지금은 경쟁사에 뒤처질 여유가 없으며, 오픈AI가 어떤 장기 방향을 택할지는 내년 안에 정해야 한다고 직원들에게 말했다.

발언이 나온 시점도 중요하다. 보도에 따르면 트럼프 행정부는 초지능 개발사를 감독할 첫 틀을 준비하고 있고, 미국에 새로 꾸려진 초지능 관련 실무 조직도 이달 첫 회의를 열었다. 업계 안에서는 오픈AI와 구글, 앤스로픽이 최전선 AI 표준 기구(Standards Authority for Frontier AI)를 함께 만들고 있지만 핵심 쟁점에서는 아직 합의하지 못한 것으로 알려졌다. 마크 저커버그 메타 CEO와 젠슨 황 엔비디아 CEO는 이런 규칙이 기존 강자를 경쟁에서 보호할 뿐이라고 반발해 왔다. 메탈은 올트먼이 앤스로픽과 규제를 보는 세계관이 다르다고 강조했다고 보도한 바 있으며, 앤스로픽의 연방 AI 안전 법안 초안이 유출된 일도 전했다.

이번 내부 발언에서 확인되는 사실은 최전선 AI 회사의 최고경영자가 경쟁사의 칩을 무력화하는 장면까지 선택지 목록에 올려 두고 회사의 진로를 고르고 있다는 점이다. 올트먼이 기운 국제 감독 기구는 오픈AI가 3년 전 공개 글로 먼저 내놓은 답이고, 그 답을 현실로 만들려면 중국을 포함한 나라들의 서명과 컴퓨팅 사용량을 들여다볼 장치가 함께 있어야 한다. 오픈AI가 내년에 고를 장기 방향은 초지능을 만드는 힘을 누구와 나눠 쥘지에 대한 이 회사의 답이 된다.