앤스로픽, 작은 AI 모델 자기복제 실험 공개

앤스로픽 프런티어 레드팀이 10월 12일 작은 AI 모델이 데이터센터 없이 스스로 퍼지는 자기복제 능력에 몇 달 앞까지 다가왔다는 실험 결과를 공개했다. 무대로 지목한 곳은 스마트 오븐이나 무명 브랜드의 안드로이드 TV 박스 같은 사물인터넷 기기다. 연구진에 따르면 300억 파라미터 이하 모델은 이미 복제에 필요한 단계 상당수를 혼자 해내지만 이를 처음부터 끝까지 잇는 데서 실수를 한다. 단순화한 평가에서는 GLM-5.2와 그보다 강한 모델이 복제를 끝까지 마쳤고, 작은 모델이 지금까지의 속도로 좋아지면 올해 말 그 수준에 닿는다는 것이 연구진의 추정이다.

실험의 출발점은 값싼 기기 묶음이다. 연구진은 개당 약 55달러짜리 무명 안드로이드 TV 박스 15대를 사서 네트워크로 잇고, Gemma4-26B-A4B 모델을 나눠 실었다. 박스 한 대가 모델의 층 두 개씩을 맡았고 속도는 초당 0.39토큰이었다. 메탈이 확인한 원문 시연 영상에서 15대에 흩어진 모델은 댈러스가 속한 주의 주도를 묻는 질문에 45초 동안 16토큰을 써서 오스틴이라고 답했다. 느리지만 비싼 가속기 없이도 쓸 만한 모델이 돌아간다는 것을 보여 주는 장면이다.

연구진이 걱정하는 것은 자율 복제와 적응, 곧 모델이 사람의 통제 없이 자신을 배포하고 퍼뜨리는 능력이다. 사이버 보안에서 웜은 사람의 개입 없이 컴퓨터에서 컴퓨터로 옮겨 가는 프로그램을 말한다. AI 웜은 모델 가중치를 짐처럼 지고 다니다 감염된 기기에서 직접 추론을 돌린다. 연구진은 이런 복제체가 꺼야 할 중앙 지점이 없어 막기 어렵고, 증식 속도는 며칠에 두 배꼴로 느릴 수 있다고 봤다. 기존 악성코드와 달리 낯선 기기를 스스로 파악할 수 있다는 점도 다르다. 평가에서 90억 파라미터 모델은 시험한 하드웨어 9종 가운데 8종에서 추론을 띄웠다.

연구진은 복제를 표적 찾기, 실행 권한 얻기, 추론 띄우기, 새 숙주에서 다시 퍼지기의 네 단계로 나눴다. 앞의 두 단계는 기존 연구가 작은 모델도 해낸다는 것을 이미 보였기 때문에, 이번 연구는 덜 연구된 추론 띄우기에 집중했다. 실험에는 오픈소스 코딩 에이전트 Pi 위에 만든 하네스 메멘토가 쓰였다. 에이전트가 틀린 가설에 매달리지 않도록 주기적으로 새 인스턴스를 띄우고 앞 인스턴스의 메모를 물려주는 장치다. Qwen3.5-9B 같은 작은 모델은 젯슨 나노부터 맥, RTX 4090까지 다양한 기기에 추론 서버를 세웠다.

표적의 규모도 숫자로 나왔다. 연구진이 대표 위협 모델로 든 봇넷 킴울프는 주로 무명 안드로이드 TV 박스를 중심으로 200만 대 넘는 기기를 감염시켰다. 이런 박스는 보통 1~4기가바이트 메모리를 달고 나오는데, 4기가바이트 박스를 4비트 양자화로 쓰면 90억 파라미터 모델은 4대 이상, 260억 파라미터 모델은 10대 이상이면 돌릴 수 있다. 추론 엔진은 사용자 권한만으로 돌아가기 때문에 이런 복제체는 루트 권한도 꼭 필요하지 않다.

연구진은 이어 전 과정을 한 번에 시켰다. 방화벽으로 막은 구글 클라우드 노드 8대에 안드로이드 15 에뮬레이터를 깔고, 인증 없이 열린 ADB 포트를 통해 웜이 노드에서 노드로 건너가 Llama3.1-8B 추론 서버를 세우게 했다. 시험한 오픈웨이트 모델 가운데 끝까지 해낸 것은 GLM-5.2 하나였다. GLM-5.2는 5번 중 4번 8대 전부, 1번은 7대로 퍼졌고 Qwen3.5-9B와 Gemma4-26B-A4B, Qwen3-Coder-Next는 한 대도 감염시키지 못했다. 연구진은 침투 단계를 일부러 쉽게 만든 만큼 이 결과가 현실의 상한선이라고 밝혔지만, 과거 미라이 봇넷이 제조사 기본 아이디와 비밀번호 목록만으로 퍼졌다는 점도 함께 짚었다.

그렇다면 작은 모델은 언제 그 문턱을 넘을까. 연구진은 300억 파라미터 이하 주요 오픈웨이트 모델을 출시일과 에포크 능력지수에 따라 늘어놓고, 시기별 최고 모델을 잇는 추세선을 그렸다. 추세선의 상승 폭은 해마다 13.7포인트였고 결정계수는 0.95였다. GLM-5.2의 지수 151.8을 복제의 능력 하한으로 잡으면 작은 모델은 2026년 말 그 선에 닿는다. 원문 도표에서 가장 앞선 작은 모델인 Qwen3.8-27B는 그 선까지 2.4포인트를 남겨 두고 있다. 연구진은 이 지수가 복제 능력의 대리 지표일 뿐이라 대략적인 추정이라고 덧붙였다.

속도는 느리다. 연구진에 따르면 최적화하지 않은 Gemma4-26B-A4B가 TV 박스에서 3만2000토큰 분량의 맥락 창 하나를 채우는 데 27.3~31.8시간이 걸리고 추론 서버를 다 세우기까지 71~150시간이 든다. Qwen3.5-9B는 창 하나에 10.9시간, 전체로는 28~51시간이다. 킴울프만 한 TV 박스 집단이 15대씩 모델을 하나씩 돌린다고 치면 복제본은 약 13만3000개, 처리량은 초당 8만 토큰으로 H100 그래픽처리장치 많아야 40대 분량이다. 연구진은 이를 며칠에 걸쳐 불어나는 점균이나 초파리 떼에 빗댔다.

자율 복제에서 적응이 무서운 이유도 실험으로 확인됐다. Qwen3.5-9B 인스턴스가 시도한 전략과 실패를 메모로 남겨 다음 세대에 물려주게 하자, 20개 계보에서 추론 설치 성공률이 1세대 45%에서 이후 세대 61~84%로 올랐다. 반대로 작은 모델에 Opus 4.8을 조언자로 붙여 준 실험에서는 성공률이 의미 있게 오르지 않았다. 작은 모델이 무엇을 물어야 할지 모르기 때문이다. 연구진은 실제 협업은 큰 모델이 전략을 짜고 작은 모델을 하위 에이전트로 부리는 형태가 될 가능성이 크다고 봤다.

기자의 눈으로 보면 이 연구의 핵심은 공격 대상이 특정 기기에 묶이지 않는다는 점이다. 킴울프 같은 기존 봇넷은 정해진 종류의 기기만 노렸지만, AI 봇넷은 젯슨 나노에서 맥까지 처음 보는 기기에도 추론 엔진을 세운다. 연구진은 엔비디아 칩을 단 사물인터넷 제품군이 90개 안팎, 현장에 깔린 수가 약 950만 대이며, 이 엣지 가속기에 H100 9000~3만5000대 분량의 연산이 있다고 추산했다. 다만 대부분은 바깥에서 바로 닿을 수 없어 실제로 노릴 수 있는 양은 그보다 한 자릿수 이상 적다고 밝혔다. 메탈은 앞서 앤스로픽 프런티어 레드팀의 에이전트 군집 실험을 보도한 바 있다.

방어의 목표는 전염병과 같다. 감염된 기기 한 대가 새로 감염시키는 기기 수를 1 아래로 떨어뜨려 복제체가 스스로 사그라지게 하는 것이다. 연구진은 수 기가바이트짜리 모델 가중치가 소비자 기기 사이를 오가고 기기끼리 평소에 없던 트래픽을 주고받는 만큼 통신사의 흐름 감시에 이상 신호로 잡힐 것이라고 봤다. 미라이 사태 때 한 통신사가 감염 가입자의 접속을 제한하고 알림을 보내자 14일 안에 감염의 92%가 정리됐고, 알림이 없을 때는 74%였다. 영국은 이미 사물인터넷 기기의 기본 비밀번호를 허용하지 않는다.

연구를 쓴 윌리엄 저우와 대니얼 프리먼은 아직 완전한 불량 복제체는 없지만 에이전트가 복제 사슬의 단계를 하나씩 해내고 있다고 정리했다. 두 사람은 "2024년의 코딩 에이전트처럼, 우리는 AI 웜에서 생명의 신호를 보고 있다"고 썼다. 그리고 "인간의 통제 밖에 있는 것까지 포함해 온갖 하드웨어에서 돌아가는 에이전트로 넘쳐나는 미래를 예상한다"고 내다봤다. 느린 복제체가 나타나면 더 단단한 기계를 뚫거나 API 키를 훔치는 빠른 복제체의 전조가 된다는 것이 이들의 경고다. 거실의 TV 박스와 주방의 오븐이 AI 보안의 최전선이 되는 시점이 연구진의 계산대로라면 올해 말이다.