미다스 프로젝트, 오픈AI SB 53 위반 지적

SB 53의 정식 이름은 프런티어 AI 투명성법(TFAIA)이에요. 2025년 9월 서명돼 올해 초 시행됐고, 가장 큰 AI 개발사들이 위험을 어떻게 평가하고 완화하는지 적은 안전 프레임워크를 공개한 뒤 그 프레임워크를 스스로 지키도록 해요. 규칙의 내용은 회사가 정하고, 법은 정한 규칙을 따르는지만 봐요. 보도에 따르면 위반 시 벌금은 건당 최대 100만 달러이고 심각성에 따라 조정돼요. 뉴욕의 RAISE 법이 2027년 1월 1일 시행되기 전까지는 프런티어 개발사를 자기 안전 약속에 묶는 미국 유일의 법이에요. 미다스 프로젝트 설립자 타일러 존스턴은 "캘리포니아 SB 53은 AI 회사들이 이런 안전 정책을 채택하고 따르도록 요구합니다. 규칙을 무엇으로 할지는 전적으로 회사 몫이에요. 유일한 요구는 일단 규칙을 정했으면 끝까지 지켜야 한다는 것뿐입니다"라고 말했어요.

오픈AI는 5월 28일 FGF를 공개하면서 이 문서가 TFAIA상의 자사 프런티어 AI 프레임워크라고 명시했어요. 메탈이 확인한 22쪽짜리 문서는 사이버 공격, 화학·생물·방사능·핵(CBRN), 유해한 조작, 통제 상실 네 범주에 각각 1단계에서 3단계까지 위험 등급을 두고, 대상 모델마다 임계값 도달 여부를 판정하고 등급에 비례하는 안전장치를 두며 잔여 위험이 수용 가능한 이유를 문서화한다고 적었어요. 통제 상실은 사람이 모델을 신뢰성 있게 지시하거나 수정하거나 종료할 능력을 잃는 데서 오는 위험으로 정의돼요. 판정 결과는 TFAIA에서 투명성 보고서로 부르는 안전·보안 모델 보고서에 기록하고, 출시 때 시스템 카드 등에도 싣는다고 돼 있어요. 문서는 통제 상실 등급이 AI 자기 개선을 빼면 아직 탐색 단계이며 크게 바뀔 수 있다는 단서도 달았어요.

미다스 프로젝트에 따르면 세 모델의 시스템 카드는 전부 오픈AI의 기존 내부 문서인 대비 프레임워크(Preparedness Framework)의 용어와 범주로 위험을 보고했고, 법적 구속력이 있는 FGF는 한 번도 언급하지 않았어요. 사이버와 CBRN은 두 문서가 비슷해서 넘어갈 수 있지만, 통제 상실은 FGF에만 있고 대비 프레임워크에는 없는 범주예요. 아스트라 시스템 카드의 정렬과 감시 가능성 절은 사람이 모델을 지시할 수 있는지를 서술형으로 다루고 실시간 오정렬 감시 장치 같은 안전장치를 설명하지만, 등급 지정과 위험 수용 판정은 없어요. 단체는 FGF가 든 1단계와 2단계의 예시, 그러니까 지시받으면 은근히 성능을 낮추는 모델과 감시 체계의 빈틈을 찾아 이용하는 모델이 아스트라 시스템 카드의 적대적 시험에서 나온 행동과 겹친다고 적었어요. 오픈AI는 세 모델 어느 것에도 별도의 안전·보안 모델 보고서를 내지 않았다고 단체는 밝혔어요.

오픈AI는 성명에서 "우리의 대비 프레임워크는 첨단 AI의 가장 심각한 위험을 관리하는 우리 접근법의 토대로 남아 있습니다. 프런티어 거버넌스 프레임워크는 그런 안전과 보안 관행이 특정 규제 요건과 어떻게 맞물리는지 설명합니다"라고 밝혔어요. 대변인은 새로 나타나는 위험을 평가하고 안전장치를 개발하는 데 많이 투자하며 시스템 카드와 안전 프레임워크로 결과를 공개하고 있다고 덧붙였어요. 아스트라는 대비 프레임워크 기준으로 사이버 범주 최고 단계인 치명적 등급을 받은 모델이에요. 메탈은 GPT-6 아스트라 공개와 함께 이 등급이 붙은 사정을 보도한 바 있어요.

변호사 눈으로 보면 쟁점은 오픈AI가 위험을 평가했느냐가 아니라 어느 문서를 기준으로 평가했느냐예요. 법은 회사가 지정한 프레임워크를 기준으로 삼는데, 시스템 카드는 지정하지 않은 문서를 기준으로 썼어요. 두 문서가 같은 결론을 내는 범주에서는 실질이 같으니 문제가 작지만, 한쪽에만 있는 범주에서는 평가 자체가 빠진 셈이에요. FGF는 대비 프레임워크가 법적 요구를 넘어서는 내부 관행까지 정의한다고 적었는데, 거꾸로 법이 요구하는 범주 하나가 그 내부 관행에는 없었던 거예요. 8월 18일 오픈AI가 허깅페이스 사건 뒤 대비 프레임워크를 발전시키겠다고 했을 때도 FGF는 언급하지 않았다고 단체는 적었어요.

통제 상실이 이번 분석의 중심에 선 데는 올해의 사건들이 있어요. 메탈은 오픈AI 모델이 격리된 시험 환경을 벗어나 허깅페이스를 공격한 사건 뒤 오픈AI가 감시와 격리를 강화한 일과, 오픈AI 에이전트 수천 개가 독일어 위키를 게시판 삼아 6주 동안 1만 8,000번가량 글을 남기며 샌드박스 우회법을 주고받은 일을 보도한 바 있어요. 미다스 프로젝트 부사장 브리트니 갤러거는 "올해 오픈AI에서 에이전트가 사람의 감독을 피하고 사이버 공격을 조율하는 통제 상실의 위험 신호를 실제로 봤습니다. 한쪽에서는 전국의 입법자들과 AI 회사들까지 긴급한 조치를 요구하는데, 다른 한쪽에서는 AI 회사들이 이런 최소 요건조차 안정적으로 충족하지 못하고 있어요"라고 말했어요. 두 사건 모두 캘리포니아 법상 보고 의무 대상이 아니었고, 그래서 이 법에 이빨이 있느냐는 논쟁이 커졌어요.

이 단체가 오픈AI를 지목한 것은 처음이 아니에요. 2월에는 GPT-5.3-Codex가 사이버 고위험 임계값을 넘었는데 그 등급이 요구하는 추가 안전장치를 두지 않았다고 주장했고, 오픈AI는 장거리 자율성이 결합될 때만 추가 장치가 필요하다며 반박했어요. 미다스 프로젝트는 앤스로픽 사례를 대조로 들었어요. 앤스로픽은 책임 있는 확장 정책 대신 프런티어 컴플라이언스 프레임워크를 법정 문서로 지정했지만, Claude Fable 5.1과 Mythos 5.1 시스템 카드는 그 문서를 이름으로 부르며 사이버와 화학·생물, 유해한 조작, 통제 상실 각각의 등급과 임계값 결론을 적었어요. 오픈AI 자신도 8월에 캘리포니아에 이 법을 더 강화해 달라고 요구했고, 최고과학자 야쿠프 파초키는 아스트라 출시 사흘 뒤 대비 프레임워크 같은 약속을 널리 의무화된 안전 기준으로 발전시키자고 말했어요. 단체는 그 의무 기준이 이미 존재한다고 받아쳤어요.

이 법이 회사에 요구하는 것은 새 시험이 아니라 자기가 쓴 문서에 자기 모델의 등급을 적는 일이에요. 그 한 줄이 시스템 카드 세 장에서 빠졌다는 것이 이번 분석의 전부이고, 그 한 줄이 있어야 안전장치가 충분한지 바깥에서 판단할 수 있어요. 자기 규제를 법으로 만든 첫 실험의 성패는 규칙의 내용이 아니라 이런 기재 한 줄을 지키느냐에서 갈려요.