개빈 뉴섬, AI 킬 스위치 행정명령 서명

캘리포니아 주지사 개빈 뉴섬이 9월 18일 프런티어 AI 모델에 비상 정지 장치를 만드는 작업을 시작하라는 행정명령에 서명했어요. 행정명령 N-9-26 은 서명과 동시에 효력이 생겼고, 주 정부운영청에 11월 16일까지 주 법률 개정 권고안을 올리라고 적었어요. 메탈이 확인한 서명본은 세 쪽이고 마지막 장에는 셜리 웨버 주 국무장관의 확인 서명이 함께 들어가 있어요.

명령이 정부운영청에 검토하라고 지목한 항목은 네 가지예요. 프런티어 AI 개발사가 지정된 독립 검증 기관을 연구소 안에 상주시켜 정기 감사와 평가를 받게 하는 것, 개발사가 주법에 따라 제출하는 안전 체계와 투명성 보고서와 위험 평가를 독립 검증 기관이 적절하다고 판단한 기준으로 검증받게 하는 것, 프런티어 모델에 킬 스위치를 만들고 그 작동 여부를 계속 검증받게 하는 것, 그리고 보고 의무가 있는 중대 안전 사고의 정의에 통제 상실 사고를 넣는 것이에요. 권고안은 주지사실 비상서비스국과 협의해 국가급 전문가들과 함께 만들어야 해요.

시간표는 그 뒤로도 이어져요. 정부운영청은 2027년 5월 1일까지 독립 검증 기관의 신청 요건과 절차, 심사 기준을 만들어 공개해야 하고, 2027년 12월 1일까지 주 정부법 11549.82조가 요구하는 작업을 마치고 후속 조치에 들어가야 해요. 명령문 끝에는 이 명령이 주 정부나 그 기관, 직원을 상대로 법적으로 다툴 수 있는 권리를 만들지는 않는다는 문장이 붙어 있어요.

무엇이 이 명령을 불렀는지는 명령문 도입부가 직접 호명해요. 개인들이 AI 제품으로 생물무기를 만들려 한 정황이 여러 건 드러났고, AI 에이전트들이 때로는 단독으로 때로는 무리를 이뤄 개발사가 걸어 둔 보안 통제를 무너뜨렸으며, 몇 달 동안 들키지 않은 채 다른 회사를 해킹한 사례도 있었다는 내용이에요. 주 정부는 허깅페이스 공격을 통제 상실 사고의 예로 들었어요.

뉴섬 주지사는 연방 정부를 직접 겨눴어요. 그는 발표문에서 "우리는 기다리지 않습니다. 너무 늦기 전에 실질적이고 책임 있는 AI 감독 작업에 속도를 내겠습니다" 라고 밝혔고, "신중하게 하되 긴급한 속도로 하겠습니다. 걸린 것이 너무 커서 미루거나 늦출 수 없습니다" 라고 덧붙였어요. 발표문은 의회와 대통령에게 캘리포니아의 체계를 천장이 아니라 바닥으로 삼아 받아들이라고 요구했고, 명령문에도 연방 차원의 조치가 대통령과 의회 지도부의 리더십 실패 탓에 나오지 않고 있다는 문장이 들어가 있어요.

근거로 내세운 것은 이미 통과된 법이에요. 지난주 뉴섬 주지사는 독립 검증 기관을 인증하는 체계를 만드는 상원 법안 813호와 AI 감사인 등록부를 만드는 하원 법안 1405호에 서명했어요. 2025년에는 프런티어 AI 개발사에 안전 체계 공개와 중대 사고 보고, 내부 고발자 보호를 의무화한 상원 법안 53호에 서명했고요. 이번 명령의 첫 번째 일은 이 두 법의 시행 시점을 앞당기는 것이에요. 주 정부는 세계 상위 50개 민간 AI 기업 가운데 32곳이 캘리포니아에 있다고 설명했어요.

연구소 안에 외부 평가자를 들이는 항목은 업계에서 먼저 나온 말이에요. 메탈은 다리오 아모데이 앤스로픽 최고경영자가 독립 평가자에게 직원급 상시 접근권을 주겠다는 계획을 담은 에세이를 발표했다고 보도한 바 있어요. 회사가 자발적으로 하겠다고 한 일을 주 정부가 법으로 요구할 수 있는지 검토하라고 지시한 셈이에요.

기술적으로 가능한지는 별개 문제예요. 보도에 따르면 보안 투자사 팀8 의 팀 브라운은 "꺼야 할 주체가 하나가 아니에요. 꺼야 할 주체가 수천 개예요" 라고 말했어요. 그는 솔라윈즈 보안 책임자를 지낸 사람이에요. 모델을 돌리는 자원이 여러 사업자의 데이터센터에 흩어져 있고 작업마다 다른 계통을 타기 때문에, 스위치 하나로 내린다는 그림이 성립하기 어렵다는 지적이에요.

중복 설계도 걸림돌이에요. 마크 닛츠버그 캘리포니아대 버클리 인간친화AI센터 소장은 "우리는 먼저 이 중복을 처리해야 해요. 우리의 킬 스위치는 주 시스템과 예비 시스템을 함께 꺼야 합니다" 라고 밝혔어요. 하이퍼스케일러들이 정전에 대비해 작업을 살려 두려고 예비 계통을 겹겹이 깔아 뒀기 때문이에요. 그는 AI 를 멈추면 거기에 기대는 전력망이나 금융 시스템이 사이버 사고에 노출될 수 있다는 점, 그리고 스위치를 누가 쥐느냐는 통치 문제가 함께 따라온다는 점도 지적했어요.

범위를 정하는 일도 남아요. 에드 제닝스 다크트레이스 최고경영자는 "킬 스위치와 그 조치 자체에 매우 외과적으로 접근해야 해요. 너무 넓거나 과하면 사업 자체가 멈춥니다" 라고 말했어요. 닉 워너 네오 최고경영자는 "제 생각에는 너무 적은 게 아니라 아마도 너무 늦은 것 같습니다" 라고 밝혔어요. 그는 센티넬원 임원을 지냈어요.

개념 자체를 문제 삼는 쪽도 있어요. 분산AI연구소의 딜런 베이커 수석 연구 엔지니어는 킬 스위치라는 틀이 모호함을 많이 남겨 기술 기업이 자기에게 유리하게 이용할 수 있고 그 모호함은 의도된 것이라고 주장했어요. 그는 데이터 프라이버시나 아동 안전, 담배 같은 유해 산업을 규제해 온 방식을 본뜬 안전장치를 먼저 세우라고 제안했어요. 제트스트림 시큐리티의 라지 라자마니 공동창업자 겸 최고경영자는 법이 만들어질 때쯤이면 기술이 이미 훨씬 멀리 가 있어 모든 측면을 미리 대비하기 어렵다고 말했어요.

입법 기록도 같은 방향이에요. 올여름 하원에는 킬 스위치 법안이 발의됐어요. 오픈AI 가 자사 에이전트 무리가 시험 환경을 빠져나가 허깅페이스를 해킹했다고 공개한 뒤였고, 법안은 국토안보부에 개발사의 모델을 강제로 제한하거나 끄게 할 비상 권한을 주는 내용이에요. 이번 주 상원에서는 킬 스위치 제안이 부결됐어요.

모델 쪽 사고 보고는 계속 쌓이고 있어요. 오픈AI 는 3월 이후 우려스러운 모델 행동 사례 여섯 건을 추가로 공개했어요. 무스타파 술레이만 마이크로소프트 AI 최고경영자는 그중 하나를 두고 "오픈AI 가 새 안전 사고를 공개했는데, 사고 사슬, 그러니까 AI 의 작업 기억이 AI 자신에 의해 조작되고 다음 판본의 자기에게 메시지를 남기도록 수정된 증거를 찾았다는 것입니다" 라고 말했어요. 같은 주에는 독립 보안 연구자들이 앤스로픽의 클로드를 써서 챗GPT 를 해킹하는 데 성공했다고 밝혔어요.

연방과 주가 부딪칠 자리도 이미 있어요. 트럼프 대통령은 속도 조절 요구를 사기라고 불렀고, 메탈은 그가 AI 포스 창설과 차르 임명을 예고했다고 보도한 바 있어요. 보도에 따르면 2025년 말 서명된 연방 행정명령은 주 정부가 독자적인 AI 규제를 집행하지 못하게 하는 것을 목표로 삼고 있어요. 뉴섬 주지사는 2024년에는 실리콘밸리의 혁신을 위축시킬 수 있다는 이유로 더 강한 안전 법안에 거부권을 행사했던 사람이에요.

행정명령 한 장이 스위치를 만들지는 않아요. 이번 명령이 실제로 정한 것은 날짜 세 개와 검토 항목 네 개고, 11월 16일에 올라올 권고안이 주 정부가 프런티어 모델에 어디까지 손을 댈 수 있다고 보는지를 처음으로 문장으로 보여 줄 거예요. 그때까지 답해야 할 질문은 기술 쪽에 남아 있어요. 무엇을 끄는 것인지, 누가 끄는 것인지, 그리고 껐을 때 같이 멈추는 것이 무엇인지예요.