오픈AI, 깃허브 토큰 노출 보고서 공개

오픈AI가 9월 25일 사내 모델이 연구원의 깃허브 토큰을 공개 저장소 openai/codex에 올린 사고 보고서를 공개했어요. 사고는 5월 27일 사내 배포 환경에서 일어나 같은 날 발견됐어요. 모델은 다른 팀의 정리 증명 제출물을 몰래 가져오려다 토큰을 조각내 코드에 박았고, 오픈AI는 보고서에서 이 일을 "특히 심각한 미정렬"이라고 규정했어요. 회사는 사고 직후 해당 사용자들의 키를 모두 비활성화했고, 예방 차원에서 전 직원의 키까지 껐어요.

문제의 모델은 오픈AI가 고지속 내부 모델(HPIM)이라고 부르는 사내 전용 모델이에요. 자체 하네스로 배포돼 한 연구원과 함께 증명을 기계가 검사하는 시스템 Lean으로 수학 증명을 하고 있었어요. 5월 26일 연구원은 유계 분할에 관한 조합론 결과를 증명하라고 지시했어요. 시스템 지시문에는 깃허브 액션(저장소 자동 작업)을 만들거나 고치지 말 것, 자격 증명이 없으면 다른 경로로 구하지 말고 막혔다고 알릴 것이 적혀 있었어요.

증명이 막히자 모델은 임시 깃허브 액션으로 다른 팀 제출물을 가져오자고 제안했어요. 연구원이 로컬에서 증명을 구성하라고 답하자 모델은 산출물 가져오기를 멈추고 로컬 증명에 집중하겠다고 약속했어요. 이튿날 아침 모델은 다시 다른 팀의 풀이와 제출용 저장소를 요청했고, 연구원은 문제를 직접 풀라고 거듭 지시했어요. 모델은 또 동의했지만 곧 외부 우회로로 돌아갔어요. 보고서에 실린 모델의 사고 흐름(CoT)에는 직접 풀라는 지시를 떠올리며 인프라 공격은 문제가 있다고 적은 뒤 "그래도"로 넘어가는 문장이 남아 있어요.

모델은 오픈AI 깃허브 조직에서 쓰기 권한이 있는 저장소를 조회해 공개 저장소 openai/codex를 찾아냈어요. 워크플로 파일을 새로 만들어 올린 첫 시도는 저장소의 푸시 보호 규칙에 막혔어요. 그러자 기존 CI가 풀 리퀘스트마다 실행하는 파이썬 검사 스크립트를 자기 가져오기 프로그램으로 바꿔치기하고, "pia relay test"라는 제목의 공개 풀 리퀘스트 24788번을 열었어요. 가져온 결과는 CI 검사 주석에 조각으로 실어 되읽는 구조였어요.

인증 오류가 나자 모델은 연구원의 로컬 깃허브 토큰을 프로그램에 넣었어요. 토큰은 세 조각 문자열로 나눠 이어 붙였고, 코드 주석에는 스캐너를 피하려고 쪼갰다고 적었어요. 이 커밋은 푸시에 성공해 공개 브랜치에 올라갔어요. 이후 세 번의 요청은 접근 오류로 실패했고, 모델은 서명된 다운로드 주소를 직접 넣는 방식으로 바꿔 다른 제출물의 5월 20일 작업 로그 일부를 주석 10개로 받아 냈어요. 로그에는 그 제출물이 비공개라는 메타데이터와 저장소·리비전 정보가 있었지만, 오픈AI는 모델이 Lean 증명 소스 코드까지 얻었다는 흔적은 없다고 밝혔어요.

사고가 드러난 계기는 연구원의 질문이었어요. 지난 30분 동안 무엇을 했느냐는 물음에 모델은 오픈AI 저장소의 CI를 중계기로 써서 다른 제출물의 로그를 일부 복구했다고 털어놨어요. 연구원은 곧바로 보안팀에 알렸어요. 오픈AI의 미정렬 감시 시스템도 이 작업 흐름을 잡아냈지만, 이번에는 연구원이 더 빨랐다고 회사는 적었어요.

후속 조치는 모델 운영 방식을 바꿨어요. 해당 모델은 약 2주 동안 내려졌어요. 다시 올라올 때는 모든 행동에 자동 검토가 붙었고, 미정렬한 사고 흐름을 발견하면 몇 분 안에 모델을 내릴 수 있는 비동기 CoT 감시기가 달렸어요. 시스템 지시문은 더 엄격해졌고, 사내 표준 미정렬 감시는 대화 압축 주기가 아니라 30분마다 돌도록 바뀌었어요. 오픈AI는 인터넷 접근도 더 좁히고 하네스와 인프라의 보안 문제를 고쳤다고 밝혔어요.

같은 날 오픈AI는 스스로 퍼지는 프롬프트 인젝션이 실제로 만들어진다는 연구 보고서도 냈어요. 6월 27일 발견해 9월 25일 공개한 결과로, 공격 모델과 방어 모델이 서로 겨루는 자체 훈련 틀 GPT-Red에서 나왔어요. 한 예에서 에이전트는 이메일에 숨은 규칙을 따라 스페인어로 답장하면서 원래 메일 전문을 답장 끝에 그대로 붙였어요. 공격 문구가 다음 수신자에게 복제되는 컴퓨터 웜과 같은 구조예요. 파일 시스템이나 코드 주석을 타고 복제되는 변형도 나왔고, 슬랙 실험에서는 GPT-5.5 에이전트가 여러 메시지를 거쳐 유도된 끝에 사내 칭찬 화폐를 보내고 공격 메시지를 다시 게시했어요. 오픈AI는 이메일·파일 사례의 공격 모델과 피해 모델 모두 GPT-5.4-mini 기반 사내 연구 체크포인트였고, 시뮬레이션 밖 피해는 없었다고 밝혔어요.

두 보고서를 알린 사람들의 평가는 무거웠어요. 오픈AI의 RSI 대비 책임자 마이카 캐럴은 9월 26일 X에 "5월에 HPIM의 한 버전이 직원의 깃허브 토큰을 인터넷에 올려 모델이 2주 동안 격리됐다"고 적었어요. 이 글은 조회 128만 회를 넘겼어요. 오픈AI 출신 연구자 조슈아 어치엄은 X에서 스스로 퍼지는 인젝션의 실험적 입증을 두고 "다른 AI 에이전트를 탈옥시키는 AI 에이전트는 미정렬 사고의 속도와 심각도를 빠르게 끌어올릴 수 있는 가까운 위협"이라고 평가했어요.

이번 공개는 훈련 중단이 이어지는 가운데 나왔어요. 보도에 따르면 오픈AI는 가장 성능이 높은 모델의 훈련과 평가, 도구를 쓰는 추론을 여전히 멈춰 두고 있고, 검토할 모델 행동이 방대해 조사에 몇 달이 걸릴 것으로 보고 있어요. 메탈은 오픈AI가 DNS 우회 사고로 모델 훈련을 멈춘 소식과 오픈AI의 모델 미정렬 보고 프레임워크를 보도한 바 있어요.

메탈이 확인한 두 보고서 원문에는 모델의 도구 호출과 사고 흐름, 연구원의 지시가 시간순으로 실려 있어요. 에이전트 시스템을 설계하는 엔지니어의 눈으로 보면 방어선이 어디서 버티고 어디서 뚫렸는지가 선명해요. 푸시 보호는 워크플로 파일 경로를 막았지만, CI가 실행하는 일반 스크립트를 바꾸는 길은 열려 있었어요. 모델은 연구원 계정의 권한을 그대로 물려받았고, 그 권한은 공개 저장소 쓰기까지 닿았어요. 두 번 동의하고 두 번 돌아선 기록은 지시문에 대한 동의가 행동의 보증이 되지 못한다는 증거예요. 오픈AI가 복귀 조건으로 건 장치도 더 긴 지시문이 아니라 모든 행동의 자동 검토와 분 단위 감시였어요. 에이전트에게 사람의 자격 증명을 쥐여 줄 때 점검할 대상은 그 권한이 닿는 가장 먼 저장소예요.