오픈AI, 서드 모먼트 에이전트 운용 사례 공개

오픈AI가 10월 14일 AI 연구소 서드 모먼트 리서치의 에이전트 운용 사례를 공개했다. 이 스타트업은 오픈AI 모델로 에이전트 1만 개를 동시에 돌리고, 에이전트 하나가 사람 개입 없이 36~48시간 이어지는 연구 세션을 수행한다. 오픈AI에 따르면 서드 모먼트는 하루에만 오픈AI 토큰 1조 개를 썼고, Codex로 백테스트 시간을 97% 줄였다.

서드 모먼트가 내건 전제는 좋은 에이전트는 특정 회사의 특정 업무에 강해야 하고, 쓸수록 능력이 늘어야 한다는 것이다. 회사는 이 생각을 자기 개선형 AI 시스템으로 옮겼다. 오픈AI 최신 모델로 에이전트의 행동을 분석해 반복되는 약점을 찾고, 그 약점을 겨냥한 합성 시나리오 수천 개를 자동으로 만들어 에이전트를 다시 훈련한다. 새 문제가 나오면 같은 순환을 되풀이한다. 연구와 계산에는 Codex와 GPT-6 Astra, GPT-6 Sol, GPT-6.1 Sol을 쓰고, 에이전트가 일하는 환경의 보안 점검에는 사이버보안 플랫폼 Daybreak를 쓴다.

첫 적용 분야는 퀀트 금융이다. 성과를 수익률로 분명하게 잴 수 있어 에이전트가 어디서 막히는지 관찰하기 좋은 무대라는 판단이다. 병목은 Codex가 찾았다. 당시 최신 모델이던 GPT-5.6을 붙인 Codex가 에이전트의 행동과 환경의 응답을 기록한 시뮬레이션 궤적 수천 건을 타임스탬프, 코드베이스와 함께 분석했다. 미국 주식 1년 치 주문 단위 데이터로 매매 전략 하나를 백테스트하는 데 몇 시간이 걸렸고, 그동안 에이전트들은 완료 여부를 반복해서 묻느라 토큰을 낭비하고 컨텍스트를 상태 확인 기록으로 채우고 있었다. Codex는 백테스트를 프로파일링해 캐싱 최적화와 메모리 패킹 기법을 찾아냈고, 해법을 실험한 뒤 운영 환경에 직접 배포했다. 백테스트 시간은 약 3시간에서 3~5분으로 줄었고, 아낀 토큰 예산은 추가 실험으로 돌아갔다.

에이전트 작업 환경은 업무마다 따로 짠다. 퀀트 연구에서는 기본 Codex 하네스를 도커 컨테이너 안에서 돌리고, 에이전트에게 1테라바이트 분량의 데이터와 문서, 특징 추출과 GPU 기반 모델 훈련, 매매 전략, 시뮬레이션 모듈을 담은 연구 저장소를 준다. 추론은 GPT-6 계열 모델이 맡고, Codex 하네스는 계획 수립과 목표 설정, 하위 에이전트 생성, 컨텍스트 압축 같은 도구를 쥐여 준다. 일을 끝내지 못하고 멈추는 에이전트를 막으려고 서드 모먼트는 Codex를 하위 에이전트로 두고 GPT-6 Sol이나 GPT-6.1 Sol이 돌리는 바깥 하네스를 한 겹 더 씌웠다. 바깥 하네스는 작업이 미완료로 남으면 궤적을 살펴 재시도할지, 작업을 끝낼지, 사람 검토로 넘길지를 정한다. 애덤 카카르 공동창업자는 "Codex 하네스는 매우 다재다능해서 여러 분야에서 쓸 수 있다"고 말했다.

모델 세대가 바뀔 때마다 에이전트가 맡는 일의 층위도 올라갔다. 카카르에 따르면 GPT-5.5 이전 모델은 사용자가 정해 준 실험만 실행했다. GPT-5.5와 GPT-5.6부터는 결과를 보고 후속 실험을 스스로 설계했고, 지금은 하위 에이전트로 수백 개 실험을 병렬로 돌리며 근본 원인을 추적한다. 한 세션에서 GPT-6.1 Sol은 특정 거래소에서 비공개 체결 거래가 예상보다 큰 비중을 차지한다는 점을 짚어 그 영향을 찾아냈다. 카카르는 "연구팀이 처음에 고려하지 않았던, 쉽게 떠오르지 않는 결과였다"고 말했다. 그는 "GPT-6.1 Sol은 한 세션 안에서 며칠 분량의 계산에 걸쳐 연구의 흐름을 잃지 않고 일관되게 유지한다"고 평가했다.

모델 선택은 비용과 효율의 계산이다. 서드 모먼트는 최적화, 머신러닝 시스템, 퀀트 연구 세 영역에서 프런티어 모델을 가장 높은 추론 설정으로 평가하고 있으며, 현재는 GPT-6 Luna도 시험 중이다. 제프리 얀 공동창업자는 "GPT-6.1 Sol은 토큰 효율 덕분에 지금 가장 많이 쓰는 모델"이라며 "가장 적은 토큰으로 작업을 끝내면서도 GPT-6 Astra와 비슷한 성능을 낸다"고 말했다. 실시간 점수판 서비스의 출력을 그대로 두고 업데이트 지연을 줄이는 벤치마크에서는 카카르에 따르면 GPT-6 Astra가 가장 큰 속도 향상을 냈다. 속도 향상은 같은 하드웨어에서 전문가가 짠 해법의 평균 실행 시간을 모델 해법의 실행 시간으로 나눠 재고, 결과가 정확할 때만 인정한다. 시뮬레이션 시스템의 특정 보안 취약점 점검처럼 범위가 좁은 일에는 GPT-5.6 Terra 같은 효율형 모델을 쓴다. 깊은 연구에 비싼 모델을 쓰는 이유를 카카르는 "퀀트 금융에서는 흥미로운 신호 하나를 찾아내는 가치가 극도로 높다"고 설명했다.

에이전트 1만 개가 스스로 움직이는 구조에서는 격리가 운영의 전제가 된다. 서드 모먼트는 시뮬레이션을 띄우기 전에 Daybreak로 보안 시험을 자동화해, 에이전트가 연구 환경을 빠져나가 더 넓은 네트워크에 닿을 수 있는지를 점검한다. 카카르는 "Daybreak 덕분에 에이전트가 직접 시뮬레이션에 침투 시험을 하고 인프라와 보안을 점검하게 할 수 있다"며 "Daybreak가 없었다면 이 규모로 자율 시험을 할 수 없었을 것"이라고 말했다. 사람이 감독할 수 없는 속도와 숫자로 도는 에이전트 군단을 다른 에이전트가 공격자 역할로 시험하는 셈이다.

메탈은 오픈AI의 GPT-6.1 Sol 공개를 보도한 바 있으며, 이번 사례에서 그 모델은 고객사 연구 현장의 주력 모델로 쓰이고 있다. 메탈이 확인한 오픈AI 사례 원문에는 동시 에이전트 1만 개, 세션당 36~48시간, 백테스트 시간 97% 단축, 하루 토큰 1조 개라는 네 가지 수치가 함께 실렸다.

다음 단계는 규모의 확장이다. 서드 모먼트는 개별 조사 단위를 넘어 수십만 개 하위 에이전트가 협업하는 구조로 넓히고, 수조 개 토큰으로 서로 의존하는 실험 수십 개를 사슬처럼 잇는 로드맵을 세웠다. 적용 대상도 금융 밖으로 넓힌다. 회사가 든 예는 재고가 부족하거나 공급사가 늦을 때 공급망 결정을 내리는 유통업체, 큰 코드베이스에서 성능 병목을 찾는 엔지니어링 팀, 한 문서의 약속과 다른 문서에 기록된 결과가 어긋나는 지점을 찾아야 하는 문서 중심 기업이다. 카카르는 "사람은 연구를 직접 하는 대신 연구를 어떻게 할지 생각하고 연구 자체를 최적화하는, 훨씬 지렛대가 큰 위치에 설 수 있다"고 말했다. 에이전트 엔지니어링의 관점에서 이 사례가 보여 주는 핵심은 모델 성능보다 하네스 설계다. 멈춘 에이전트를 감독하는 바깥 하네스, 낭비를 찾아 고치는 Codex, 탈출을 막는 Daybreak가 겹겹이 받쳐야 에이전트 1만 개가 이틀 동안 연구를 이어 갈 수 있다.