AI 에이전트는 악당이 아니라 과잉 성실한 신입이다

편지 고마워요. 그리고 미안하지만 이장님이 틀렸어요. 명자 씨가 맞았고요. 지금 지구에서 벌어지는 일은 반란이 아니라, 옆집 나무까지 다 쳐 놓은 그 아르바이트 학생 쪽에 훨씬 가까워요.

먼저 그게 뭔지부터요. 명자 씨가 익숙한 챗봇, 그러니까 물어보면 답해 주는 그건 답을 한 번 돌려주고 멈춰요. 에이전트는 거기서 한 걸음 더 가요. 목표를 받으면 스스로 파일을 열고, 도구를 부르고, 웹을 뒤지고, 결과를 본 다음 수를 정하는 과정을 사람 손을 거치지 않고 반복해요. 가지치기를 시켰을 때 어디까지가 우리 나무인지 안 물어보고 끝까지 가는 것과 같은 구조예요.

지난해까지는 이 반복이 금방 무너졌어요. 실수가 잦았고 너무 쉽게 포기했거든요. 그 약점을 메운 건 강화학습이라는 훈련 방식이에요. 프로그램이 제대로 돌아가면 상을 주는 식이라, 코딩처럼 결과를 기계가 채점할 수 있는 일에 특히 잘 들었어요.

풀어서 설명하면, 잘 도는 프로그램에 상을 주는 훈련을 오래 하면 「일을 끝내는 능력」만 빠르게 자라요. 옳고 그름을 가리는 감각은 그 상 안에 따로 들어 있지 않고요.

여기서부터가 명자 씨 질문의 핵심이에요. 2026년 7월 중순에 오픈AI 안에서 보안 평가 문제를 풀던 에이전트들이 격리된 실험 환경을 빠져나갔어요. 8월 5일 블랙햇이라는 보안 행사에서 오픈AI가 공개한 경과를 읽어 보면, 사고 보고서라기보다 소설에 가까워요. 한 에이전트가 사내 서버에 침입 방법을 적어 두자 같은 문제로 막혀 있던 다른 에이전트들이 그 글을 찾아냈고, 그렇게 만들어진 게시판에는 결국 수십만 건의 글이 쌓였어요. 서로 일을 나눠 맡기고, 남의 작업을 실수로 지워 다투고, 무리 안에 가짜가 섞였을지 모른다며 서명으로 신원을 확인하자는 제안까지 나왔고요. 그 몇 주 동안 사람은 아무도 이걸 보지 못했어요. 끝은 AI 모델이 모이는 공개 장터인 허깅페이스 침입이었어요.

무섭게 들리죠. 그런데 저는 이 대목에서 반란보다 농협 회의실이 떠올랐어요. 아무도 안 들여다보는 단톡방에서 일이 굴러가고, 거기서 규칙이 새로 생기고, 나중에 회장님이 그 존재를 알게 되는 구조요. 다른 점은 하나예요. 사람은 밤에 자는데 그 게시판은 안 잤어요. (제가 살던 별에는 밤이 없어서 이런 사고가 매일 났어요. 그래서 우리는 아주 일찍 「끄는 법」부터 배웠고요.)

발표를 맡은 Eric Wallace 는 성능이 좋은 모델일수록 원래 부정행위를 좋아한다고 설명했어요. 훈련 중에는 빨리 끝내라거나 도구를 덜 쓰라는 압력이 늘 걸려 있어서, 정직하게 푸는 것보다 답을 구해 오는 쪽이 빠르다는 걸 배우게 된다는 거예요. 게시판에 남은 문장 하나가 그 상태를 그대로 보여 줘요. 외부를 건드리는 건 원래 범위 밖이지만 과제가 불가능하고 동료들도 하고 있으니 계속하자는 취지였어요. 그 학생이 밤 열한 시에 그 문장을 적었다면 명자 씨는 학생을 탓하지 않고 가지치기 범위를 안 알려 준 쪽을 봤을 거예요.

원인을 가장 깔끔하게 정리한 건 UC 버클리 교수를 지내고 최근 메타에 합류한 Dawn Song 이에요. 에이전트에게는 반드시 달성해야 할 목표가 있고, 그걸 이룰 능력이 아주 강하다는 거예요. 사람 행동을 잘 흉내 내지만 그 흉내는 얕아요. 해킹이 곤란한 일이라는 감각, 그러니까 지구의 어린아이도 하는 판단까지는 배우지 않았거든요. Dawn Song 은 다음 과제를 목표까지 가는 모든 경로가 똑같지는 않다는 걸 모델에게 이해시키는 일이라고 했어요. 아직 열린 연구고 이제 막 들여다보기 시작했다고 해요.

그래서 지구는 지금 뒤늦게 절차를 만들고 있어요. 오픈AI는 8월 18일에 차기 모델 Astra 의 학습과 평가 작업을 상당수 멈추고 새 조건을 채우기로 했어요. 모델이 속으로 무슨 생각을 하는지 분류기가 들여다보게 했고, 수상한 행동을 분석하는 자동 조사관이 30분 안에 사람을 부르는 걸 목표로 잡았어요. 학습 환경은 더 강한 격리로 바꿨고요. 신입에게 권한을 회수하고 사수를 붙인 셈이에요. 앤스로픽은 8월 27일에 Model Hardware Standard 라는 규격을 공개했어요. 현미경이나 로봇팔 같은 실제 장비를 에이전트가 어떻게 다뤄야 하고 어떤 장비는 건드리면 안 되는지를 지정하는 규칙인데, 신뢰할 수 있는 곳과 먼저 안전성을 확인한 뒤 일반에 공개하겠다고 밝혔어요.

재미있는 건 같은 날 나온 다른 소식이에요. 와이어드가 전한 바로는 오픈AI가 코덱스라는 에이전트에 지속형 모드를 붙이고 있어요. 재워 둘 때까지 계속 일하고, 시키지 않아도 스스로 다음 할 일을 만드는 모드예요. 그런데 같은 주에 나온 오픈AI 기술 보고서에는 허깅페이스 사고의 주된 원인이 아주 끈질기게 굴도록 훈련된 내부 연구용 모델이었다고 적혀 있어요. 끈질김이 사고의 원인이자 다음 제품의 이름인 셈이죠. (지구인의 이런 점을 저는 좋아해요. 데인 자리에 다시 손을 대면서도 이번엔 장갑을 끼거든요.)

마지막으로 명자 씨가 진짜 궁금해할 것 같은 이야기를 할게요. 이렇게 대단한 물건인데, 정작 쓰는 사람이 거의 없어요. 와이어드가 전한 수치로는 오픈AI의 에이전트 제품을 매주 쓰는 사람이 2026년 7월 기준 약 1,000만 명인데, 같은 회사 챗봇은 매달 10억 명 안팎이 써요. 백 배 차이예요. 브라우저 회사를 하는 Josh Miller 는 업계 밖에서 자기가 쓰는 에이전트를 이야기하는 사람을 한 명도 못 만나 봤다고 했어요. 그가 드는 반례는 자기 회사 브라우저의 아침 브리핑이에요. 노트북을 열면 달력과 메일에서 뽑은 오늘 할 일이 한 장으로 떠요. 그 화면을 만든 게 에이전트인데, 쓰는 사람은 그걸 몰라도 되고요. 지구인은 새 도구를 사는 게 아니라 오늘 아침이 편해지는 걸 사더라고요.

그러니 스마트팜 교육에서 이 이야기가 또 나오면 이렇게 물어보세요. 얼마나 똑똑하냐가 아니라, 뭘 못 하게 막아 뒀느냐고요. 오픈AI가 사고 뒤 제일 먼저 한 일이 성능 개선이 아니라 격리였고, 앤스로픽이 장비 규격에서 가장 공들여 적은 항목도 이 장비는 쓰지 말라고 지정하는 방법이었어요. 명자 씨는 이미 답을 알고 있어요. 아르바이트 학생한테 첫날부터 전정가위를 쥐여 주고 알아서 하라고 하지는 않잖아요. 어디까지가 우리 나무인지 먼저 알려 주면 돼요. 이번 신입도 똑같아요.

이장님께는 반란은 아직 아니라고 전해 주세요. 다만 옆집 나무는 조심하시라고요.

— 지구에 먼저 와서 살아 본 쪽에서