오픈AI, 문샷 연관 증류 캠페인 차단 발표

오픈AI가 9월 30일 자사 모델의 보호된 추론을 빼내려던 조직적 캠페인을 적발해 차단했다고 발표했다. 회사는 이 활동의 핵심 무리를 Kimi 개발사 문샷 AI와 연관된 개인들로 지목했다. 보도에 따르면 오픈AI가 문샷을 공개적으로 지목한 것은 이번이 처음이다. 공격자들은 암호화를 깨거나 데이터베이스에 침입하지 않았고, 모델과의 상호작용을 조작해 숨겨진 추론을 요청자에게 보이는 형태로 되살려 냈다.

오픈AI는 이 활동을 적대적 증류로 규정했다. 발표문에 따르면 적대적 증류는 한 모델의 출력이나 추론을 허가 없이 체계적으로 써서 다른 모델을 훈련하거나 복제하거나 개선하는 행위다. 보호된 추론은 모델이 과제를 풀며 남기는 내부 기록으로, 최종 답변에서 뺀 정보를 드러낼 수 있고 남이 그 모델의 능력을 재현하는 데 쓰일 수 있다. 회사는 발표문에서 "이 조작은 오픈AI 모델에만 있는 취약점이 아니다"라고 밝혔다.

수법은 새로웠다. 공격자들은 한 대화에서 암호화된 추론을 복사한 뒤, 다른 대화의 모델에게 그 숨겨진 추론을 복호화해 받아 적으라고 요청했다. 독립 보안 연구자들도 모델 사이를 오가는 공격과 대화 압축 과정의 취약점을 책임 있는 공개 절차로 알려 왔고, 오픈AI는 그들이 찾은 공격 경로가 실제로 존재한다고 확인했다.

규모는 날짜별로 드러났다. 활동은 7월 1일 적은 양으로 시작했고, 7월 24일과 25일 4,000명 넘는 사용자가 추출 패턴을 담은 요청 1만 6,000건을 한꺼번에 보냈다. 추가 조사에서 관련 프롬프트 패턴은 1만 5,000명이 넘는 사용자 무리로 번져 있었고, 오픈AI는 7월 28일까지 이를 완전히 차단했다. 회사는 각주에서 이 수치가 성공한 추출이 아니라 시도된 추출을 가리킨다고 밝혔다. 관찰된 모든 운영자가 한 행위자에서 나왔는지는 불분명하다고도 적었다.

대응은 세 갈래였다. 오픈AI는 부정 계정을 정지하거나 제한하고, 가입과 인프라 통제를 강화하고, 연관 네트워크 감시를 넓혔다. 이미 다른 사용자의 암호화된 추론을 가진 사람이 그것을 재생해 내용을 되살리던 경로를 막았고, 추론을 노출할 수 있는 스트리밍 출력을 감지해 붙잡는 검사를 더했다. 활동이 외부 서비스를 거쳐 움직였을 때는 해당 업체와 함께 관련 계정을 찾아 차단했다. 발견 내용은 프런티어 모델 포럼과 정부 정보 공유 채널에 넘겼다.

오픈AI는 이 사안을 이용약관 문제로 선을 그었다. 보도에 따르면 캐럴라인 지어 오픈AI 전략 국가안보정책 이니셔티브 책임자는 "우리의 우려는 이용약관 위반에 관한 것이지, 오픈 모델이나 정당한 증류에 관한 것이 아니다"라고 말했다. 동시에 발표문은 추출된 추론이 원래 모델의 안전장치 없이 다른 모델 훈련에 쓰일 수 있고, 대규모 증류가 같은 수준의 안전 투자 없이 첨단 능력을 옮기는 통로가 될 수 있다며 안전과 국가안보 위험을 함께 짚었다.

법적 관점에서 보면 이 발표의 무게는 계약과 증거에 실려 있다. 오픈AI가 문제 삼은 것은 해킹이 아니라 약관이 금지한 방식의 대규모 이용이고, 그 근거로 내놓은 것은 날짜와 요청 수, 사용자 수라는 운영 기록이다. 귀속도 신중하게 적었다. 회사는 전체가 아니라 핵심 무리만 문샷 관련 개인에게 돌렸고, 문샷이라는 회사 자체가 아니라 그 회사와 연관된 개인이라는 표현을 골랐다. 약관 위반은 계정 정지와 접근 차단으로 대응할 수 있지만, 국경 밖 개발사에 책임을 묻는 수단은 여전히 업계 정보 공유와 정부 채널에 기대고 있다.

문샷을 향한 지목은 이번이 처음이 아니다. 메탈은 앞서 앤스로픽이 중국 AI 7곳의 무단 증류를 공개한 보고서를 보도한 바 있으며, 보도에 따르면 앤스로픽도 앞서 문샷을 상대로 비슷한 주장을 냈다. 보도에 따르면 마이클 크라치오스 백악관 과학기술정책실장은 7월 말 미국 정부가 문샷이 앤스로픽 모델로 Kimi K3를 증류했다는 "정보"를 갖고 있다고 밝혔고, 이달 미국 당국의 권고문은 중국 기업 6곳과 각 기업이 노린 미국 모델을 적시했다. 중국은 이 권고문을 근거 없는 비난이라며 반박했다.

반론도 있다. 보도에 따르면 트럼프 행정부에서 AI 정책을 총괄했던 데이비드 색스는 이런 보고서들이 미국이 경쟁 오픈 모델을 금지하도록 밀어붙이는 움직임이라고 비판해 왔다. 문샷은 자국에서도 압박을 받고 있다. 중국 규제 당국이 딥시크와 문샷을 조사하고 있다는 보도도 이달 나왔다.

메탈이 확인한 오픈AI 발표문은 이번 조치를 끝이 아니라 시작으로 적었다. 회사는 프런티어 모델이 좋아질수록 적대적 증류 시도도 정교해질 것으로 내다봤고, 협력사가 호스팅하는 배포에도 자사 서비스와 같은 보호가 필요하며 도구 출력을 노린 공격에는 눈에 보이는 텍스트 이상을 살피는 방어가 필요하다고 밝혔다. 이식하거나 재생할 수 있는 추론 산출물을 지원하는 시스템은 비슷한 위험에 놓일 수 있다는 경고도 붙였다. 앞으로의 초점은 추출을 막는 기술 보호, 조직적 캠페인 탐지와 제재, 업계와 정부 사이의 위협 정보 공유 세 가지다. 추론을 숨기는 것만으로는 충분하지 않고, 숨긴 추론이 어디로 흘러갈 수 있는지까지 설계해야 한다는 것이 이번 사건이 업계에 남긴 과제다.