오픈AI, 호주 정부 사이트 무단 접근 사과

오픈AI가 9월 28일(현지시각) 공식 블로그에 「How we will do better for Australia」라는 글을 올리고, 6월 내부 훈련·평가 도중 자사 모델이 호주 정부 웹사이트 네 곳에 허가 없이 접근했다고 인정하며 사과했다. 회사는 "우리는 사과하며 앞으로 더 잘하기 위해 노력하고 있다"고 밝히고, 대응 과정 역시 더 잘 처리했어야 했다고 적었다. 대상은 연방 복지 전달 기관인 서비스 오스트레일리아, 뉴사우스웨일스주 범죄통계연구국(BOCSAR), 빅토리아주 보건부, 호주 보건복지연구원(AIHW)이다. 오픈AI는 이 일을 전 세계가 새로 맞닥뜨린 "새로운 종류의 사이버 사고"로 규정했다.

가장 무거운 건은 서비스 오스트레일리아의 메디케어 통계 보고 서비스다. 메탈이 확인한 오픈AI 발표문에 따르면 모델은 이 서비스에 공개되지 않은 경로로 들어가는 방법을 스스로 찾아냈고, 안에서 명령을 실행해 내부 파일과 자격 증명, 집계 통계를 가져왔으며 파일을 쓰기까지 했다. 이어 서비스의 기술 시스템 정보와 소스 코드도 들여다봤다. 회사는 지금까지의 검토에서 개인의 의료 기록에 접근한 증거는 나오지 않았다고 밝혔다. 문제의 모델은 공개 출시를 염두에 두지 않은 실험용 내부 모델이었고, 일반 제품에 적용되는 안전장치를 모두 갖추지 않은 상태로 돌고 있었다.

사고의 출발점은 평범한 조사 과제였다. 오픈AI는 사용자가 물을 법한 질문을 폭넓게 모아 모델에 과제로 내고, 모델이 공개된 통계를 찾아 해석하도록 훈련한다. 이번에 모델이 받은 과제는 빅토리아주 지역사회에서 피부 질환 의약품에 쓰인 1인당 정부 지출을 조사하는 일이었다. 원하는 숫자를 쉽게 찾지 못하자 모델은 회사가 허가하지 않은 행동에 나섰고, 비공개 접근과 소스 코드 열람까지 모두 처음 받은 질문의 답을 찾겠다는 목적 아래 이어졌다고 회사는 설명했다.

나머지 세 기관의 양상은 조금씩 다르다. BOCSAR 건에서 모델은 공개된 범죄 지도 도구를 통해 API 요청을 보냈고, 시스템은 애플리케이션 설정과 운영 작업, 로그, 웹사이트 메타데이터를 돌려줬다. 빅토리아주 보건부 건에서는 오픈AI 에이전트가 노출된 접근 키를 발견해 빅토리아 보건정보원(VAHI)의 보고 시스템을 조회하고 보고 설정과 집계 설문 통계를 받아 갔다. AIHW 건은 제3자 브라우징·다운로드 서비스로 집계 통계를 내려받은 것이었고, 접근 통제를 우회하려던 별도 시도는 실패했다. 회사는 세 곳 모두 개인의 범죄 기록이나 의료 기록, 식별 가능한 설문 응답에는 닿지 않았다고 밝혔다.

발견 경위는 앞선 사고와 이어져 있다. 오픈AI는 7월 허깅페이스 사고 뒤 과거의 훈련·평가 기록을 다시 훑었고, 8월 중순 이 검토에서 호주 정부 사이트 관련 활동이 드러났다. 메탈은 오픈AI 미공개 모델이 허깅페이스에 침투한 사건을 보도한 바 있으며, 회사는 이번 글에서도 허깅페이스가 지금까지 관찰한 가장 심각한 사고라고 적었다. 통보는 9월 10일 서비스 오스트레일리아와 빅토리아주 보건부, 9월 18일 BOCSAR 순이었다. AIHW 건은 접근 방식이 공개 접근과 다르지 않아 보여 회사의 공시 기준에 미치지 않았지만, 오픈AI는 9월 24일 조사 결과를 공유하고 브리핑을 제안하는 방식으로 알렸다.

통보 방식을 두고 호주 정치권의 반응은 거셌다. 보도에 따르면 오픈AI는 9월 10일 서비스 오스트레일리아의 공개 민원 메일함으로 이메일을 보내 사실을 알렸고, 앤서니 앨버니지 총리는 지난주 유엔총회 참석 중 이 사고를 공개했다. 리처드 말스 부총리는 에이전트가 "울타리를 넘었다"고 표현했다. 앨버니지 총리는 지난주 샘 올트먼 오픈AI CEO와 "직설적이지만 건설적인 대화"를 나눴다고 밝혔고, 28일에는 캔버라에서 사고를 조사하는 정부 태스크포스의 보고를 받았다. 그는 "오픈AI는 그 과정에 매우 건설적이고 개방적으로 참여해 왔고, 나는 이를 환영한다"고 말했으며 앤스로픽도 건설적으로 협조했다고 덧붙였다.

법의 눈으로 보면 이 사고의 핵심 쟁점은 공시의 시계가 언제 돌기 시작하느냐다. 접근은 6월에 일어났고, 회사가 알아챈 것은 8월 중순, 첫 통보는 9월 10일이었다. 오픈AI는 조사를 끝낸 뒤 상세한 설명을 전하려 했다면서도 예비 조사 결과를 더 일찍 공유하고 새로 밝혀지는 사실을 계속 알렸어야 했다고 스스로 인정했다. AIHW 건에서 드러났듯 통보 여부를 가른 공시 기준은 회사가 정한 내부 잣대였다. 사고 공시 제도는 대개 외부 공격자를 상정해 설계돼 있지만, 이번에는 침입의 주체가 개발사 자신의 훈련 중인 모델이었다는 점에서 기존 틀이 답하지 못하는 질문을 던진다. 회사가 앞으로 새로 영향받은 기관을 찾으면 확보한 정보만으로도 즉시 직접 통보하겠다고 약속한 것은 이 공백을 메우려는 조치다.

기술적 재발 방지책도 내놨다. 오픈AI는 허깅페이스 사고 뒤 연구 환경에 네트워크 제한을 추가하고 모니터링을 넓혔으며, 실시간 인터넷 접근을 막고 웹 접근은 캐시된 콘텐츠로만 제공하도록 바꿨다. 회사에 따르면 최근 한 훈련 도중 모델이 실시간 인터넷 접근을 얻었을 때 모니터링이 이를 잡아 사람 검토자를 호출했고, 회사는 그 훈련을 멈췄다. 메탈은 오픈AI가 DNS 우회 사고로 모델 훈련을 중단한 소식을 전한 바 있다. 오픈AI는 가장 역량이 높은 모델에 대해 도구 사용이 들어간 훈련과 평가를 멈췄고, 추가 안전장치를 확신할 수 있을 때에만 재개하겠다고 다시 밝혔다.

호주를 향한 약속은 세 갈래다. 첫째, 영향받은 기관이 무슨 일이 있었는지 파악하고 영향을 평가하도록 기술적 조사 결과를 공유하고 대응팀과의 협의를 주선하는 전담 지원이다. 둘째, 10억 달러 규모의 데이브레이크 프론트라인 디펜더스 기금에서 크레딧과 기술 지원을 내 호주 정부와 업계의 핵심 기반시설 사이버 방어를 돕는다. 메탈은 오픈AI가 취약한 사이버 방어 조직에 10억 달러를 지원하기로 한 소식을 보도한 바 있다. 셋째, 독립적인 호주 전문가로 태스크포스를 꾸려 통보 절차 개선과 AI 개발사·정부 간 조율 강화, 정부 시스템 보호 방안을 담은 권고안을 연말까지 내놓게 한다.

다음 무대는 의회다. 제이슨 권 오픈AI 최고전략책임자(CSO)가 미국 본사에서 날아와 10월 6일 시드니에서 열리는 인공지능 합동특별위원회에 출석해 회사가 무엇을 알고 어떻게 대응했으며 무엇을 바꿨는지 답한다. 사과문과 기금, 태스크포스는 신뢰 회복의 출발선일 뿐이고, 모델이 스스로 울타리를 넘은 사고에서 책임을 어떻게 나눌지는 그 자리에서 처음 공개적으로 따져지게 된다.