프라임 인텔렉트, 에이전트 스웜 에세이 공개

오픈소스 AI 인프라 기업 프라임 인텔렉트가 AI 에이전트의 다음 구조로 에이전트 스웜을 제시한 에세이를 공개했다. 회사 연구원 콘스탄틴 두나스가 10월 6일 개인 블로그에 먼저 쓰고 회사 블로그 연구 란에 옮겨 실은 「On the Nature of the Swarm」이다. 회사는 9일 공식 X 계정에 "추론 스케일링은 통하지만, 모든 에이전트는 결국 같은 문제에 부딪힌다. 컨텍스트 창이 가득 찬다"고 적고 이 글을 소개했다. 두나스의 결론은 컨텍스트 창 문제를 확장 가능하게 푸는 길은 하나뿐이고, 그 길은 곧장 스웜으로 이어진다는 것이다.

출발점은 컨텍스트 창의 크기다. 두나스에 따르면 현재 프런티어 모델의 컨텍스트 창은 모두 100만 토큰 안팎에서 멈춰 있고, 1억 토큰 창을 가진 진지한 모델은 없다. 그런데도 코딩 에이전트는 100만 토큰으로는 풀 수 없어 보이는 작업을 매일 해낸다. 비결은 컴팩션(compaction)이다. 창이 거의 차면 에이전트에게 지금까지의 작업을 요약하게 하고, 그 요약을 새 컨텍스트로 넘겨 일을 잇게 한다. 이 방식으로 한 에이전트 세션을 며칠, 길게는 몇 주씩 이어 갈 수 있다.

두나스는 컴팩션이 무한한 맥락을 주지는 않는다고 짚었다. 그가 총 컨텍스트 용량이라고 이름 붙인 값, 곧 한 번에 처리하려면 얼마나 큰 창이 필요한가로 잰 작업의 최대 크기를 끌어올릴 뿐이라는 설명이다. 그는 "모든 컴팩션은 베팅이다. 요약하는 에이전트는 나중에 무엇이 중요할지를 지금 정해야 한다"고 썼다. 그의 경험으로는 대부분의 작업에서 100만 토큰짜리 작업 맥락이 1만6000토큰 요약으로 꽤 잘 압축된다. 첫날 잡음으로 여긴 로그 한 줄이 사흘째 버그의 열쇠가 되는 디버깅 같은 작업에서는 그 베팅이 진다.

에세이는 맥락을 넓히는 방식을 두 축으로 나눈다. 상태가 살아남는가, 그리고 요약이 질문을 안 뒤에 쓰이는가다. 첫 방식은 파일 시스템이나 REPL에 세부 내용을 적고 요약에는 위치만 남기는 디스크 오프로딩이다. 질문이 무엇을 기억해야 하는가에서 무엇이 있는지 알아야 하는가로 바뀌지만, 다음 에이전트가 그 파일을 다시 읽는 데 맥락을 또 쓴다. 둘째는 서브에이전트다. 메인 에이전트가 재시도 로직이 어디 있는지 찾는 과제를 새 에이전트에게 맡기면, 서브에이전트는 20만 토큰을 태워 파일을 읽고 메인 에이전트의 맥락은 과제와 답, 수천 토큰만 늘어난다. 두나스는 이 답 역시 요약이지만 질문을 안 뒤에 쓰인다는 점이 결정적 차이라고 설명했다.

두 방식은 서로 반대쪽이 비어 있다. 두나스는 "디스크로 덜어 내기는 기억하지만 생각하지 못한다. 서브에이전트는 생각하지만 기억하지 못한다"고 정리했다. 그가 채운 넷째 칸은 서브에이전트를 없애지 않고 남겨 두는 지속형 에이전트다. 이미 코드를 읽고 테스트를 돌린 에이전트에게 다음 날 다른 질문을 다시 던질 수 있으니 컴팩션은 더 이상 한 번뿐인 베팅이 아니다. 여러 에이전트의 맥락이 나란히 살아 있으므로 시스템의 총 컨텍스트 용량은 대략 에이전트 하나당 창 하나씩 늘어난다는 계산이다.

그는 이것을 새로운 스케일링 축이라고 부르는 데는 반대했다. 컴팩션, 디스크, 서브에이전트, 지속형 에이전트가 모두 맥락을 쌓는 방법일 뿐이며 "우리는 여전히 추론 컴퓨트를 키우고 있다. 더 구조화된 방식으로 할 뿐이다"라고 썼다. 대가는 통신이다. 한 에이전트의 맥락을 다른 에이전트로 옮기려면 메시지로 눌러 담아야 하고, 그 과정에서 토큰이 들고 정보가 샌다. 과제의 어려운 부분이 모든 맥락을 한자리에 필요로 한다면 나누는 것은 소용이 없다고 그는 밝혔다. 두나스는 오픈AI가 에이전트 1만 개로 나비에-스토크스 문제를 풀었다고 밝힌 사례도 들었는데, 수학자들이 아직 검증 중인 오픈AI의 주장이라고 각주에 적었다.

구조 논의는 트리에서 메시로 넘어간다. 루트 에이전트가 서브에이전트를 낳고 결과가 위로 올라오는 트리에서는 모든 대화가 루트를 거치고, 루트의 맥락이 차면 같은 문제가 한 층 위로 옮겨 갈 뿐이다. 에세이의 도식에서 다른 가지에 있는 프런트엔드 전문 에이전트에게 질문이 닿으려면 루트를 거쳐 4단계를 지나야 하지만, 공유 상태를 둘러싼 메시에서는 1단계면 된다. 두나스는 에이전트가 10개면 트리로도 충분하지만 1만 개라면 서로를 찾아 일을 나누는 동료 구조가 훨씬 낫다고 봤다.

그는 경제학의 오래된 논쟁을 끌어왔다. 로널드 코스는 1937년 시장이 조정을 잘한다면 기업은 왜 존재하는가를 물었고, 프리드리히 하이에크는 1945년 경제를 운영하는 데 필요한 지식이 수많은 사람에게 흩어져 있어 중앙으로 모을 수 없다고 썼다. 두나스는 "루트 에이전트는 중앙 계획자다"라고 쓰며, 계획을 잘하려면 전체 맥락이 필요한데 전체 맥락이야말로 창 하나에 들어가지 않는 것이라고 지적했다. 그가 제안한 출발점은 사람의 조직을 베끼는 것이다. 공유 git 저장소와 이슈 트래커, 슬랙을 에이전트에게 주고 공유 상태를 단일한 기준으로 삼게 한 뒤, 구조 자체는 에이전트가 문제를 풀며 고쳐 나가게 하자는 제안이다. 리치 서튼의 「쓴 교훈」을 다시 들여오는 길이라는 설명이다.

이 주장은 회사의 최근 작업과 맞물린다. 메탈은 프라임 인텔렉트가 코딩 에이전트 하네스 Prime Agent를 러스트로 다시 쓰면서 에이전트 2000개 이상에게 코드를 옮기게 했다고 보도한 바 있다. 회사는 8월 자기개선형 에이전트 하네스 Prime Agent를 처음 공개했다. 메탈이 확인한 에세이 원문에는 도식 6장과 각주 21개가 달려 있고, 글 끝에는 세바스티안 뮐러와 사미 자구아르에게 교정과 피드백을 받았다는 감사 문구가 있다. 회사의 X 게시물은 수집 시점에 조회 6만6000회를 넘겼다.

에이전트를 만드는 쪽에서 이 에세이가 던지는 질문은 모델의 창을 얼마나 키우느냐가 아니라 맥락을 어디에 두고 누가 그것을 다시 쓰느냐다. 두나스는 "스웜은 만능 해법이 아니다"라며 에이전트가 스스로 조직하고 일을 겹치지 않게 나눌 만큼 뛰어나야 한다고 못 박았고, 통신 비용의 일부는 구조적이라고 봤다. 스웜을 어떤 모양으로 짤지는 그도 아직 모른다고 밝혔고, 그 답은 다음 글로 미뤘다.