오픈AI, 리걸온 Codex 비용 절감 사례 공개

오픈AI가 10월 8일 리걸온 테크놀로지스의 Codex 비용 절감 사례를 공개했다. 리걸온은 작업 난도에 따라 GPT-6 Astra와 GPT-6.1 Sol, GPT-6 Luna를 골라 쓰고 사업 단계에 맞춰 예산을 나눈 끝에 추정 일일 비용을 약 65% 줄였다. 오픈AI에 따르면 개발 속도는 그대로 유지했고, 성숙한 사업 부문에서는 비용 효율을 최대 약 20% 끌어올리는 목표를 세웠다.

리걸온은 법무를 비롯한 핵심 업무를 AI로 돕는 「프로페셔널 AI」를 전 세계에 제공하는 회사다. 오픈AI는 이 회사를 아시아태평양 지역의 스타트업으로 분류했다. 리걸온은 제품뿐 아니라 조직 자체를 AI 중심으로 바꾸겠다며 개발 과정에 Codex를 들였고, 일상 업무에서 쓰는 사람이 늘면서 사내 전체로 퍼졌다. 그러자 새 문제가 생겼다. 고성능 모델을 제한 없이 쓰면 지출이 커지고, 일괄로 막으면 AI로 얻은 생산성이 무너질 수 있었다.

처음 리걸온은 개발자에게 당시 주력 모델이던 GPT-5.5를 Fast 모드로 무제한 쓰게 했다. 설계와 구현, 일상 업무까지 쓰임새를 넓히며 사람과 AI가 일을 어떻게 나눌지 실험으로 익혔다. 그러나 이대로면 연간 예산을 넘길 것이 분명했다. 사내 AI 개발 전담 조직인 AID CoE가 모델 선택 지침을 만들기 시작했다. AID CoE가 모델을 시험하고 사용량을 지켜보면 관리자들이 그 결과를 팀에 전했고, 엔지니어는 작업마다 맞는 모델을 스스로 고르게 됐다.

새 지침의 원칙은 가벼운 모델에서 출발해 일이 복잡해질 때만 위로 올라가는 것이다. 사내 시험을 거쳐 기준이 구체화됐다. 가장 가벼운 GPT-6 Luna는 요구사항이 분명한 코드 구현과 일상 자동화를 맡고, 주로 하위 에이전트로 일한다. GPT-6.1 Sol은 표준적인 설계와 데이터 분석, 문서 작성처럼 Luna보다 짧은 처리 시간이 필요한 일을 맡는다. 가장 강한 GPT-6 Astra는 아키텍처 설계 같은 고난도 판단과, 여러 에이전트를 지휘하는 오케스트레이터 역할을 한다.

통제 장치는 두 겹이다. 관리자 설정으로 부서와 개인마다 월 사용 한도를 걸었고, AID CoE가 사용량을 보며 한도를 조정한다. 또 Fast 모드를 기본으로 막고 필요할 때만 개별 신청으로 열었다. 개발 속도가 떨어질 거라는 우려가 나왔지만, 팀들은 작업을 병렬로 돌리는 방식으로 성능을 지켰다고 오픈AI는 밝혔다. 예산 상한은 부서와 그룹, 개인 세 단계에 걸렸다.

예산은 사업 단계에 따라 일부러 기울였다. 기존 리걸온 사업에는 비용 효율을 최대 약 20% 높이라는 과제가 떨어졌고, 막 출범한 신사업에는 AI를 적극 쓰라며 넉넉한 예산을 줬다. 도키타케 유타 리걸온 테크놀로지스 시니어 엔지니어링 매니저는 신사업에서는 비용 효율보다 사업 속도가 먼저였다고 설명했다. AI를 많이 써서 산출을 늘리고 결국 사업 성장으로 잇겠다는 계산이다. 모델 선택과 기능 제한, 사업별 예산을 합친 결과 추정 일일 비용은 GPT-5.5만 쓰던 때보다 약 65% 줄었다.

리걸온의 다음 질문은 비용이 아니라 수익이다. 도키타케 매니저는 "AI가 시스템 개발과 업데이트를 빠르게 한다는 건 거의 당연한 일"이라며 "우리가 정말 알고 싶은 것은 그 빠른 개발이 실제로 고객 가치로 이어지느냐"라고 말했다. 그래서 회사는 AI 투자를 개발 속도나 사용량이 아니라 고객 가치로 재는 자체 지표를 만들고 있다. 그는 "AI를 쓰면 개별 작업의 비용은 추적할 수 있지만, 기능 출시라는 완결된 일의 총비용은 블랙박스로 남는 경우가 많다"며 "기능 출시 하나를 단위로 측정을 설계해 그 출시가 준 고객 가치와 실제로 투입된 AI 비용을 잇겠다"고 밝혔다. 이 지표를 계산할 파이프라인은 지금 만들고 있다.

메탈이 확인한 오픈AI 사례 페이지에는 세 모델의 역할을 나눈 표가 실려 있고, 7분 12초짜리 음성 낭독도 붙어 있다. 메탈은 오픈AI가 GPT-6 Sol과 Luna를 공개한 소식과 GPT-6.1 Sol 출시를 보도한 바 있으며, 같은 법률 분야의 하비 GPT-6 Astra 사례도 전했다. 리걸온은 다음 단계로 설계와 구현, 리뷰에 가장 잘 맞는 모델 조합 같은 현장 경험을 모으는 사내 지식 베이스를 만들 계획이다. 채용에서도 이미 AI 역량을 중시하기 시작했고, AID CoE와 보안팀이 성능과 비용, 위험을 함께 맞추고 있다.

엔지니어링 관리의 눈으로 보면 이 사례가 보여 주는 것은 모델 라우팅이 이제 개발 조직의 예산 문제라는 점이다. 가장 비싼 모델을 기본값으로 두는 대신 가장 싼 모델을 기본값으로 두고 위로 올라가게 바꾼 것만으로 비용 구조가 달라졌다. 도키타케 매니저는 "규칙과 예산으로 지나치게 제한하면 조직의 추진력을 해칠 수 있다"며 "필요한 것은 위험 통제와 팀에 필요한 속도를 효과적으로 맞추는 유연한 운영 모델"이라고 말했다.