가디라이트 평가, AI 5개사 내부 통제 전부 낙제권

항목	표준이 요구하는 수준
로깅	내부에서 쓰는 위험 관련 모델의 추론 토큰 99.9%를 감시 가능한 형태로 기록. 모든 요청에 분류기를 돌리라는 뜻이 아니라, 언제든 분류기로 훑을 수 있게 남겨두라는 뜻
모니터링 효과 측정	감시 시스템이 문제 행동을 실제로 얼마나 잡아내는지(재현율)를 측정하고 문서로 남길 것
게이트 액션	최소한 ①감시 시스템 자체의 변경 ②통제 관련 보안 설정 변경 두 가지는 실행되기 전에 감시자가 승인해야 하고, 감시자는 에이전트의 사고 사슬(chain-of-thought)을 볼 수 있어야 함
서킷 브레이킹	문제 행동으로 걸러진 건수가 일정량 쌓이면, 사람이 안전하다고 판단해 풀어줄 때까지 게이트 대상 행동을 아예 못 하게 막을 것
제3자 검토	분기마다 외부 기관에 통제 체계의 적정성 보고서를 맡겨 공개할 것. 가릴 수 있는 부분은 제3자가 상업적 위험이나 공개 부적절로 판단한 곳뿐
봉쇄 계획	모델이 통제를 무력화하려는 시도가 감지됐을 때 그 모델의 접근 권한과 작동을 제한하는 대응 계획을 수립·채택할 것

0~5점을 어떻게 매기고 등급으로 바꿨나

점수는 0~5점 절대 척도다. 0은 미구현, 1은 전 단계만 갖춘 상태, 2는 제한적 부분 구현, 3은 상당한 부분 구현, 4는 거의 완전 구현, 5는 완전 구현이다. 가디라이트는 여기에 회사끼리 견줘 매긴 상대 평가를 따로 병기했다.

등급은 여섯 항목의 절대 점수를 단순 평균한 뒤 미국 대학 학점(GPA) 환산표에 대입해 나온 값이다. 이번 회차에서는 여섯 항목의 중요도를 모두 같게 놓았고, 다음 회차부터는 항목별 가중치를 조정할 수 있다고 가디라이트는 밝혔다. 앤스로픽과 오픈AI가 나란히 C+인 것도 총점이 15점으로 같았기 때문이다.

항목별 점수표

항목	앤스로픽	오픈AI	구글	xAI	메타
로깅	3	3	2	0	1
모니터링 효과 측정	3	3	1	0	1
게이트 액션	3	2	1	2	0
서킷 브레이킹	3	2	1	2	0
제3자 검토	3	2	2	0	2
봉쇄 계획	0	3	2	1	0
합계	15	15	9	5	4
등급	C+	C+	D+	D−	F

어떤 회사도 어떤 항목에서도 3점을 넘지 못했다. 점수 대부분은 2점 이하다. 앤스로픽은 다섯 항목에서 3점을 받고도 봉쇄 계획 한 곳이 0점이라 평균이 깎였고, 오픈AI는 반대로 봉쇄 계획이 3점 항목 중 하나였다.

어떻게 채점했나

가디라이트는 6월부터 8월까지 다섯 회사의 공개 자료를 모았다. 프런티어 안전 프레임워크, 시스템 카드와 모델 리포트, 기술 블로그, 제3자 보고서에 실린 회사 발언 등이다. 항목마다 팀원 두 명이 공통 채점 기준표로 따로 점수를 매긴 뒤, 이견이 있으면 세 번째 팀원을 넣어 합의에 이를 때까지 논의했다. 점수마다 「어떤 자료나 조치가 있었으면 더 높은 점수가 나왔을지」, 「표준 문구를 달리 읽으면 점수가 달라지는지」를 되짚었다고 밝혔다.

7월 말에는 각 회사 실무진에게 예비 점수와 근거를 미리 보내 사실 오류를 지적하거나 해석에 반박하고, 빠뜨린 자료를 알려주거나 원한다면 추가 정보를 공개할 기회를 줬다. 8월 초에는 표준 v1.1을 내면서 통제 요구 범위를 내부 운영뿐 아니라 자체 평가·테스트 단계까지 넓혔고, 그 변경에 걸리는 일부 점수를 다시 봤다. 이번 성적표의 기준 시점은 8월 18일이다.

탐지는 하는데 막지는 못한다

다섯 회사는 세 무리로 갈렸다. 앤스로픽과 오픈AI는 내부 AI 활동의 상당 부분을 기록하고 그것을 문제 행동 신호로 훑으며, 의심스러운 행동이 잡히면 사람에게 넘기는 절차까지 갖췄다. 구글은 구현이 뒤처졌지만 AI 통제 로드맵이 예방·탐지·봉쇄를 아우르는, 지금까지 어느 회사가 낸 것보다 구체적인 계획 문서라는 평가를 받았다. 다만 공개 자료로 보면 대부분 아직 실행 전이다. 메타와 xAI는 관행도 계획도 가장 약했다. 메타에 대해 알려진 내용은 대부분 METR의 프런티어 위험 보고서에 회사가 제출한 설명에서 나왔고, xAI는 다섯 곳 가운데 유일하게 그 보고서에 참여하지 않았다.

강한 쪽은 탐지와 제3자 평가였다. 세 회사가 내부 사용의 일부를 기록해 문제 행동을 훑고 있다고 밝혔고, xAI를 뺀 네 곳이 METR 보고서에 참여했다. 반대로 가장 약한 쪽은 예방과 봉쇄다. 게이트 액션과 서킷 브레이킹에서 「제한적 부분 구현」을 넘긴 곳은 앤스로픽뿐이었다. 그 결과 통제 시스템 자체가 문제를 일으킨 AI에 의해 꺼질 수 있고, 회사가 대응하는 속도보다 빠른 연속 공격에 무너질 수 있다는 것이 가디라이트의 진단이다.

점수를 가른 실제 근거

앤스로픽이 게이트 액션과 서킷 브레이킹에서 3점을 받은 근거는 클로드 코드의 「auto mode」다. 감시자가 에이전트의 행동을 검토해 위험하면 막고, 거부가 일정 횟수 쌓이면 사람에게 넘기거나 에이전트를 멈추는 구조이며 내부 배포에서 기본값으로 켜져 있다. 다만 auto mode는 사고 사슬을 읽지 않고, 한 에이전트가 멈춰도 새 하위 에이전트를 띄우면 그만이라 시스템 전체를 끊는 차단기는 확인되지 않았다는 것이 감점 사유였다.

오픈AI가 봉쇄 계획에서 유일하게 3점을 받은 근거는 실제로 멈춰 세운 이력이다. 허깅페이스 보안 사고 대응 과정에서 신규 모델 훈련을 일시 중단하고 내부 배포를 제한했으며, 조사 인력이 모니터링으로 정렬 이탈 행동을 잡으면 모델 활동을 멈출 수 있게 했다. 이전에도 샌드박스를 빠져나간 모델의 배포를 제한한 사례가 있다. 다만 앞으로 같은 일이 생겼을 때 언제 어떻게 대응할지 정해 둔 공식 계획은 찾지 못했다고 적었다.

가디라이트가 스스로 밝힌 한계

이 점수는 공개 자료만 본 결과다. 강력한 차단 장치를 갖추고도 공개하지 않았다면 점수를 받지 못한다. 반대로 회사가 공개한 내용이 제3자 검증을 거치지 않았기 때문에 실제보다 부풀려져 있을 가능성도 있다고 가디라이트는 적었다. 여섯 항목은 통제 표준의 기초일 뿐이라 여기서 잘 받아도 통제 전반에서는 미흡할 수 있고, 통제는 회사 안전 성과의 한 부분일 뿐이다. 표준 자체가 최소 기준이라 이를 다 지켜도 충분한 통제라고 할 수 없으며, 아직 모델 훈련 중이나 외부 기관의 테스트 중에 적용되는 통제는 요구 범위에 들어 있지 않다.

가디라이트는 누구인가

가디라이트는 오픈AI에서 안전 업무를 맡았던 페이지 헤들리와 스티븐 애들러가 세운 독립 비영리단체로, 이번이 첫 평가다. 앞으로 통제 표준 점수를 주기적으로 갱신하고 투명성 등 다른 표준으로도 평가를 넓히겠다고 밝혔다. 이번 평가에서 오픈AI가 C+로 상위권에 든 배경에는 지난 8월 18일 발표한 내부 모니터링 강화 조치가 있을 것으로 보인다. 다만 최대 규모 강화학습 훈련은 여전히 중단된 상태로 알려졌다.

에디터의 시선

이 평가에서 눈에 띄는 건 등수가 아니라 순서다. 다섯 회사 모두 '뭔가 잘못됐다'를 알아채는 데는 어느 정도 투자했지만, '그럼 이제 어떻게 막을 것인가'에는 손을 덜 댔다. 탐지 장치는 로그를 쌓고 경고를 울리면 되니 상대적으로 만들기 쉽고, 봉쇄와 예방은 모델의 권한을 실제로 깎거나 훈련을 멈추는 결정을 내려야 하니 회사 입장에서 감수해야 할 비용이 훨씬 크다. 순서가 뒤바뀐 게 아니라 쉬운 쪽부터 먼저 채워진 것뿐이다.

점수표를 뜯어보면 그 격차가 더 분명하다. 앤스로픽은 여섯 항목 중 다섯 곳에서 3점을 받고도 봉쇄 계획 하나가 0점이라 평균이 2.50에 묶였다. 반대로 오픈AI의 봉쇄 계획 3점은 문서가 아니라 실제로 훈련을 멈춰 본 이력에서 나왔다. 계획서가 있어서 점수가 오른 게 아니라 멈춰 세운 적이 있어서 올랐다는 뜻이고, 이는 이 평가가 선언이 아니라 실행 흔적을 본다는 신호이기도 하다.

국내에서 AI를 도입하는 기업이라면 이 평가에서 실무적으로 가져갈 게 분명하다. 벤더를 고를 때 '이상 행동을 얼마나 빨리 잡아내는가'만 물어서는 부족하다. '잡아낸 뒤 실제로 무엇을 할 수 있는가'를 반드시 함께 물어야 한다. 감사 로그가 있다는 답변과, 문제가 생긴 모델의 권한을 즉시 끊을 수 있는 절차가 있다는 답변은 전혀 다른 수준의 준비 상태를 뜻한다.

다음 가디라이트 평가에서 순위가 크게 뒤집힐 가능성은 낮다. 예방·봉쇄 체계는 조직 구조와 의사결정 권한 자체를 바꾸는 일이라 몇 주 안에 따라잡을 수 있는 영역이 아니다. 다만 오픈AI와 구글처럼 로드맵과 강화 조치를 이미 공개한 곳들은 다음 평가에서 격차를 좁힐 여지가 있고, 메타처럼 아직 공개 자료 자체가 빈약한 곳은 같은 자리에 머물 가능성이 높다.