오픈AI, Codex로 죽은 코드 80만 줄 삭제

오픈AI가 사내 개발팀이 Codex로 죽은 코드 80만 줄 이상을 삭제한 과정을 공개했다. 오픈AI 코어 실험(Core Experimentation)팀의 로드리고 로임(Rodrigo Roim)은 오픈AI 개발자 블로그에 올린 글에서, GPT-6 Astra를 쓴 엔지니어 5명이 2주 동안 다른 업무와 병행하며 1,400건이 넘는 풀 리퀘스트를 병합했다고 밝혔다. 코어 실험팀은 화면 개편부터 모델 서빙 효율 개선까지 회사 전반의 실험을 받치는 소프트웨어를 만들고 관리한다.

로임은 10월 16일(UTC) X에 이 글을 소개하며 "소프트웨어 유지보수가 바뀌고 있다. 몇 달 전만 해도 Codex에 죽은 코드를 어디서 찾아야 하는지 정확히 알려 줘야 했다"고 썼다. 이어 "이제는 슬랙에서 후보를 찾고, 프로덕션 텔레메트리와 대조하고, 정리용 PR 초안까지 쓴다"고 덧붙였다. 오픈AI 개발자 계정(@OpenAIDevs)도 같은 날 이 글을 다시 소개했고, 메탈이 확인한 시점에 그 게시물의 조회는 17만 회를 넘었다.

변화의 출발점은 지시의 크기다. 로임에 따르면 GPT-5.6 Sol 시절에는 조사할 영역과 검증 기준을 사람이 정해 줘야 모델이 정적 분석 코드를 쓰고 죽은 코드를 지웠다. GPT-6 Astra에는 오타가 섞인 짧은 요청 한 줄을 그대로 줬다. 슬랙이든 실험 플랫폼 스탯시그(Statsig)든 필요한 곳을 확인해 정말 안 쓰이는 코드를 찾아 정리해 달라는 내용이었다. 모델은 과거 PR을 훑고, 슬랙 스레드에서 맥락을 모으고, 사내 프로젝트 관리 도구를 살폈다. 프로덕션 성능 프로파일링 표를 읽어 지울 줄이 실제로 한 번도 실행되지 않았는지 확인했고, 삭제마다 근거를 붙여 리뷰를 빠르게 했다.

정리의 효과는 숫자로 남았다. 한 서비스의 컨테이너 이미지는 3.31GB에서 1.72GB로 48% 줄었고, 다른 정리 작업에서는 테스트 묶음의 시각 스냅숏 변형 약 400개가 사라졌다. 코드 리뷰는 영향을 받는 프로젝트를 아는 여러 팀으로 나눠 맡겼다.

더 까다로운 일은 오래된 실험의 정리였다. 실험 코드는 아직 프로덕션에서 돌거나 언제든 바뀔 수 있는 자격 판정에 묶여 있어 정적 분석만으로는 걸러 내기 어렵다. 팀은 Astra와 함께 저장소 전체를 훑는 지시문을 다듬었고, 그 결과 실험과 기능 플래그 수백 개를 지웠다. 한 사례에서 모델은 내부 개발자가 다른 모든 신기능 플래그를 덮어쓸 수 있게 만든 파이썬 한 줄이 CPU 부하를 크게 키운다는 것을 찾아냈다. 다만 그 플래그가 관리 콘솔에 영구(Permanent)로 표시돼 있어 직접 지우지 않고 사람의 검토로 넘겼다. 검토 끝에 플래그를 없앴고, 주요 서비스에서 CPU를 약 0.42% 아낀 것으로 추산됐다.

비용 비교도 실렸다. 로임은 파이썬·타입스크립트·고·러스트로 된 파일 6,000개 이상, 코드 100만 줄 이상 규모의 하위 디렉터리에 같은 지시문을 돌렸다. GPT-6.1 Sol을 최고 추론 강도(Ultra)로 돌리자 GPT-6 Astra Ultra가 찾은 정리 대상의 92%를 API 비용의 14%로 찾아냈다. 발견 건수는 Astra Ultra 142건, Sol Ultra 131건, Sol Medium 86건이었다. 두 모델의 차이는 대부분 다른 플래그의 의존성으로 쓰인 상수 기능 플래그에서 났고, Astra는 이를 잡았지만 Sol은 놓쳤다.

같은 방식은 빌드 파이프라인에도 쓰였다. 지속적 통합(CI) 부하를 줄일 아이디어를 물은 뒤 약 30건의 최적화 PR을 병합하자, CI 완료 시간 중앙값은 약 10분에서 4.5분으로, 90번째 백분위는 12.5분에서 6분으로 줄었다. 빠진 목(mock) 하나를 채운 수정으로 63개 테스트로 된 리졸버 묶음의 실행 시간은 592.6초에서 29.8초로 95% 줄었고, 테스트는 63개 모두 남았다.

언론의 눈으로 보면 이 글은 코딩 에이전트가 만든 부담을 코딩 에이전트로 갚는 기록이다. 로임은 글 첫머리에서 코딩 에이전트 덕분에 더 빨리 만들게 됐고, 그만큼 유지보수 수요도 늘었다고 적었다. 그는 일부 제안이 "기대 이익보다 더 많은 복잡성을 더했다"며 우선순위를 정하고 효과를 따지는 일이 여전히 작업의 중요한 부분이라고 밝혔다. 메탈은 리걸온의 Codex 비용 절감 사례를 보도한 바 있다. 로임의 권고는 작은 유지보수 작업 하나로 시작해 모델과 추론 강도를 비교해 보라는 것이다. 그는 "더 저렴한 설정으로도 충분할 수 있다"고 썼다. 새 모델이 나올 때마다 지시문을 다시 점검하라는 조언도 붙였다.