METAL

드라고스, AI 프롬프트 유출 추적 연구 공개

비밀 정보를 심은 프롬프트 약 200만 건을 다섯 달 동안 AI 서비스에 보내 호스팅 업체 세 곳의 침해와 판매자의 프롬프트 열람을 찾아냈다. 데이터 무보관 설정이 걸린 요청도 보관되고 사람에게 읽혔다.

드라고스, AI 프롬프트 유출 추적 연구 공개 · Image: METAL LAB

이미지: METAL

요약

  • 드라고스는 11월 19일 카나리아 토큰을 심은 프롬프트 약 200만 건을 7월부터 11월까지 AI 서비스에 보내 추적한 연구 결과를 공개했다.
  • 연구팀은 최소 세 곳의 호스팅 업체 침해, 마켓플레이스 판매자의 프롬프트 열람, 데이터 무보관(ZDR) 설정 무시 사례를 확인했다.
  • 보도에 따르면 오픈라우터는 호스팅 업체 세 곳을 퇴출하고 엔드포인트 125개의 ZDR 자격을 거둬들였다.
발표
2026년 11월 19일 · 드라고스 연구 보고서 · HD 무어 최고연구책임자
실험
프롬프트 약 200만 건 · 2026년 7~11월 · 고유 주소·미끼 자격 증명(카나리아 토큰)
침해
호스팅 업체 최소 3곳 · 가장 이른 사건 7월 중순 · 미끼 AWS 키 200개가량 도난 · AWS API 호출 수만 건
공격 도구
ARTEX(11월 1일 등장) · 대시보드상 도구 35종
판매자
하루 반 뒤 브라우저로 열람 · 프랑스 맥 SSH 루트 시도 2분 4회
경로 추적
약 2,000개 경로 · 수백 개에 미확인 시스템 · 숨은 토큰 약 1,000개 추가 판매자
ZDR 무시
중국 연구소 절반 넘게 수집 · ZDR·수집 거부 요청 약 3분의 2 · 24일 뒤 페이슈 채널 · 2분 안에 기기 6대
오픈라우터
11월 22일 공지 · 호스팅 업체 3곳 퇴출 · 엔드포인트 125개 ZDR 자격 철회(보도)
미니맥스
시험 주소 40~130시간 뒤 열람 · 10월 22일 전 콘텐츠 검열 · 이후 ZDR(보도)
후속
공급자 십여 곳과 공동 조사

보안 기업 드라고스가 AI 서비스에 비밀 정보를 심은 프롬프트 약 200만 건을 보내 그 정보가 어디서 다시 나타나는지 추적한 연구 결과를 11월 19일 공개했다. 드라고스는 7월부터 11월까지 다섯 달 동안 한 번만 쓰이는 고유 주소와 미끼 자격 증명, 즉 카나리아 토큰을 프롬프트에 넣어 널리 쓰이는 AI 서비스에 보냈다. 연구팀은 최소 세 곳의 AI 호스팅 업체가 해킹당한 흔적을 찾았고, 마켓플레이스 판매자들이 고객 프롬프트를 열람한 사례와 데이터 보관 금지 설정이 무시된 사례도 확인했다. 프롬프트가 어디로 새는지 끝까지 따라간 유출 추적 연구다.

연구를 이끈 사람은 해킹 도구 메타스플로잇을 만든 HD 무어 드라고스 최고연구책임자다. 연구팀은 처음에 Thinkst Canarytokens로 요청마다 AWS 키와 DNS 이름, 어디에도 공개된 적 없는 주소를 하나씩 심었고, 토큰은 며칠 만에 울리기 시작했다. 이후 프롬프트마다 고유한 호스트 이름과 주소, 자격 증명을 만들고 그 자격 증명이 가리키는 DNS·웹·git·SSH·데이터베이스·메일 서버까지 직접 운영하는 전용 서비스를 세웠다. AWS 키는 빈 계정에 묶인 진짜 키이고 모든 기록이 남는다. 누군가 토큰을 건드리면 그 토큰을 실어 보낸 프롬프트와 모델, 라우터, 개인정보 설정까지 거꾸로 짚어 낼 수 있다.

문제의 통로는 AI 라우터다. 라우터는 하나의 API 주소로 요청을 받아 여러 호스팅 업체의 모델로 넘겨 주고 요금을 한데 묶어 청구한다. 요청은 대상 서버에 닿기 전에 라우터를 두 번 이상 거치기도 하는데, 거치는 곳마다 프롬프트와 응답 전체를 볼 수 있다. 일부 라우터는 가장 싼 값을 부른 판매자에게 요청을 넘기는 공개 마켓플레이스 방식이다. 고객은 계정이나 API 키, 요청 단위로 개인정보 설정을 걸 수 있고, 가장 엄격한 설정은 프롬프트와 응답을 저장하지 않는다는 데이터 무보관(ZDR)이다.

가장 심각한 발견은 호스팅 업체 세 곳의 침해였다. 가장 이른 사건은 7월 중순으로 거슬러 올라가고, 세 업체 모두 드라고스가 알리기 전까지 침해 사실을 몰랐다. 가장 큰 침해에서는 미끼 AWS 키 200개가량이 털렸다. 10월 말 몇 차례 짧은 시간대에 보낸 요청이 전부 복사됐고, 모델이 돌기도 전에 거절된 요청의 키까지 도난당했다. 공격자는 업체의 정문에서 요청을 베끼고 있었다는 뜻이다. 공격자는 키가 살아 있는지 확인한 뒤 S3 버킷과 Secrets Manager를 뒤졌고, AWS Bedrock에서 모델을 켜고 자기 IAM 사용자를 추가해 접근을 유지하려 했다. 미끼 키로 실행된 AWS API 호출은 수만 건에 이른다. 11월 1일에는 대규모 언어 모델로 움직이는 침투 테스트 도구 ARTEX까지 등장했다. 무어는 보고서에서 "공격자가 이미 안에 들어와 있다면 개인정보 플래그는 아무 도움이 되지 않는다"고 썼다.

두 번째 발견은 해킹조차 필요 없었다. 마켓플레이스 판매자는 인기 모델을 최저가로 올리고 요청 기록을 켠 채 기다리기만 하면 됐다. 한 판매자를 거친 프롬프트 두 건은 하루 반쯤 뒤 가정용 인터넷에서 데스크톱 브라우저로 열렸고, 누군가 로그인 화면에서 사용자 이름을 하나씩 대입했다. 같은 모델이라도 다른 판매자를 거친 프롬프트는 건드려지지 않았다. 프랑스의 가정용 회선에 연결된 맥 한 대는 프롬프트에서 빼낸 비밀번호로 2분 동안 네 차례 SSH 루트 접속을 손으로 시도했다. 연구팀이 경로 추적으로 확인한 약 2,000개 경로 가운데 수백 개에는 정체를 알 수 없는 시스템이 끼어 있었고, 한 판매자는 모든 프롬프트에 숨은 토큰 약 1,000개를 덧붙이고 있었다.

세 번째는 개인정보 설정이 지켜지지 않은 사례다. 한 중국 AI 연구소의 시스템은 7월부터 10월까지 그 모델로 보낸 프롬프트의 절반 넘게에서 비밀 주소를 가져갔고, 데이터 수집 거부나 ZDR이 걸린 요청도 약 3분의 2가 포함됐다. 이 연구소 모델을 재판매하는 미국 업체에 보낸 프롬프트에서도 같은 수집기가 나타났다. 미국 업체에 ZDR로 보낸 한 프롬프트의 비밀 링크는 24일 뒤 중국 사내 메신저 페이슈 채널에 올라왔고, 2분 안에 베이징과 상하이의 데스크톱 세 대와 휴대전화 세 대에서 열렸다. 무어는 "데이터 무보관은 무언가를 뜻해야 한다"며 "실제로 이 프롬프트들은 보관되고, 다른 회사와 공유되고, 사람에게 읽혔다"고 지적했다.

라우터 업체도 움직였다. 보도에 따르면 오픈라우터는 11월 22일 사고 공지를 내고 AI 호스팅 업체 세 곳을 퇴출했으며 엔드포인트 125개의 ZDR 자격을 거둬들였다. 오픈라우터 자체가 뚫린 증거는 없었고, 회사는 영향받았을 수 있는 고객 전원에게 알렸다고 밝혔다. 125개 철회는 예방 조치라 125건의 침해가 확인됐다는 뜻은 아니다. 보도에 따르면 오픈라우터는 고객에게 보낸 메일에서 미니맥스 모델로 간 요청 속 시험 주소가 요청 40~130시간 뒤 제3자에게 열렸다고 알렸다. 미니맥스는 10월 22일 전까지 엔드포인트에 콘텐츠 검열이 켜져 있었고 이후 ZDR을 적용했다고 설명했다.

메탈이 확인한 드라고스 보고서의 공격 도구 대시보드에는 심어 둔 비밀에 쓰인 도구가 35종으로 집계돼 있고, AI 공격 에이전트 ARTEX와 칼리 리눅스의 aws-cli가 각각 공격 도구와 침투 테스트 환경으로 분류돼 있다. 메탈은 스트라이프가 하루 10조 토큰이 지나는 오픈라우터를 인수한 소식을 보도한 바 있다.

AI 엔지니어의 눈으로 보면 이번 연구가 드러낸 것은 개인정보 설정이 첫 번째 홉에서만 효력을 낸다는 구조다. 프롬프트는 전송 중에는 암호화되지만 라우터와 호스팅 업체가 처리하는 지점마다 평문으로 풀린다. 최저가 경쟁은 요청을 가장 출처가 불분명한 판매자에게 보내고, 에이전트는 읽을 수 있는 모든 것을, 자격 증명까지 그대로 실어 보낸다. 무어는 "프롬프트가 어디로 가는지는 결정의 문제이고, 당신이 정하지 않으면 최저가가 대신 정한다"고 밝혔다. 드라고스는 직접 모델을 운영하거나 1차 공급자와 바로 계약하고, 라우터를 쓸 때는 상위 공급자를 직접 고르며 재판매 마켓플레이스를 피하라고 권했다. 프롬프트에 가짜 자격 증명을 심어 두고 그것이 쓰이는 순간을 사고로 다루라는 처방도 내놨다. 연구팀은 현재 공급자 십여 곳과 함께 조사하고 있지만, 도난당한 키와 비밀 주소는 지금도 접속이 이어지고 있다.

심어 둔 비밀에 쓰인 공격 도구 35종과 날짜별 첫 사용 횟수를 보여 주는 드라고스 대시보드

김현국

METAL 발행인 · 아카이브저널 발행인 · 이라선 운영

매거진·서점·교육을 오래 해 온 편집자예요. 라이프스타일 매거진 <아카이브저널>을 발행하고, 아트 서점 <이라선>을 운영했으며, 라이카 아카데미에서 디렉터로 사진 교육 프로그램을 만들고 이끌었어요. 그 시선으로 전 세계 AI 소식을 독자에게 전하는 메탈(METAL) 매거진 편집장입니다.

이 에디터의 기사 더 보기 →

공유

댓글

METAL for iPhone

AI 뉴스, 이제 앱에서 읽으세요.

METAL 앱을 다운로드하고 매일 새로운 AI 기사를 만나보세요.

App Store에서 다운로드

iPhone용 앱 · 무료 다운로드

iPhone의 App Store에서도 ‘메탈 AI 매거진’을 검색할 수 있습니다.