오픈AI, 코드래빗 Codex·데이브레이크 사례 공개

오픈AI가 11월 9일(미국 시간) AI 코드 리뷰 기업 코드래빗의 Codex·데이브레이크 활용 사례를 공개했다. 코드래빗은 Codex를 쓴 지난 6개월 동안 엔지니어를 늘리지 않고 소프트웨어 출시량을 약 20배로 늘렸다고 밝혔다. 하르조트 길 코드래빗 공동창업자 겸 최고경영자는 인터뷰 직전 30일 동안 혼자 풀 리퀘스트 2,500~3,000개를 올렸다고 추산했다. 코드래빗은 오픈AI의 사이버 보안 프로그램 데이브레이크로 자사 플랫폼을 시험해 여러 취약점을 찾았고, 최근 2주간 딥스캔 1만 3,000건을 돌려 보안 취약점 4만 3,000개 이상을 찾았다고 회사는 설명했다.

코드래빗은 AI가 쓴 코드를 검증하고 출시 여부를 판단하게 돕는 거버넌스·통제 플랫폼을 만든다. 조직 2만 곳 이상과 오픈소스 프로젝트 15만 개 이상이 이 제품을 쓴다. 길 CEO는 "코딩 에이전트를 도입하는 순간 모든 회사가 처음 부딪히는 병목은 코드 리뷰"라고 말했다. 에이전트가 쏟아내는 코드의 양이 늘수록 사람이 판단을 쏟는 자리가 작성에서 리뷰로 옮겨 간다는 것이 이 회사의 출발점이다. 메탈은 이달 초 오픈AI의 Qodo Codex 코드 리뷰 사례 공개를 보도한 바 있으며, 이번 사례는 리뷰 도구를 파는 회사가 스스로 에이전트 개발 방식을 바꾼 기록이다.

코드래빗의 첫 제품은 GPT-3.5 Turbo로 만들었다. 길 CEO는 GPT-4가 나오면서 제품이 코드 리뷰에 실제로 효과를 내기 시작했다고 설명했다. 회사는 이후 o1과 o3를 일찍 도입했는데, 코드 리뷰가 클라우드에서 비동기로 돌기 때문에 오래 추론하는 모델을 써서 더 깊은 분석을 얻는 거래가 가능했다. 길 CEO는 "오픈AI 모델이 나올 때마다, 특히 추론 모델이 나오면서 대규모로 문제를 찾는 제품 능력이 크게 좋아졌다"고 밝혔다.

새 모델은 이미 알려진 문제를 모은 자체 벤치마크로 평가한다. 인터뷰 시점에 길 CEO는 GPT-6 Astra가 이 데이터셋의 문제 50%를 잡아 비교한 모델 가운데 가장 높았다고 추산했다. 벤치마크는 고정돼 있지 않다. 에이전트가 새로운 종류의 실수를 만들고, 수정 과정에서 앞선 리뷰가 놓친 문제가 드러날 때마다 항목이 바뀐다. 길 CEO는 "버그의 성격이 계속 진화하고, 모델이 좋아질수록 우리 벤치마크도 진화한다"고 말했다.

비용 구조도 제품 설계를 바꿨다. 오픈AI 모델의 가격과 캐싱이 개선되면서 코드래빗은 연구 단계에 머물던 기능을 제품으로 옮겼다. 창업 초기에는 코드 탐색에 서브에이전트를 한두 개만 썼지만, 지금은 GPT-6 Luna 같은 저가 모델이 플랫폼 곳곳의 서브에이전트를 맡고 GPT-6 Astra가 계획과 조율을 담당한다. 길 CEO는 "예전에는 감당할 수 없던 용도까지 이제 모든 곳에 에이전트를 쓴다"고 밝혔다. 회사는 이렇게 늘어난 검증과 설명이 개발자가 직접 쓰지 않은 변경을 이해하고 믿는 데 도움이 된다고 설명했다.

출시량 20배는 Codex 도입만으로 나온 숫자가 아니다. 에이전트 여러 개를 동시에 돌리자 노트북 메모리와 연산, 테스트, 빌드·패키징 도구, 의존성까지 개발 과정 곳곳에서 제약이 드러났다. 팀은 릴리스 절차를 간소화하고 사람의 승인이 필요한 지점을 다시 정했으며, 사람이 개입할 필요가 없는 저위험 변경은 코드래빗이 자동으로 출시하게 했다. 길 CEO는 "소프트웨어 배포 전체를 완전히 다시 생각해야 했다"고 말했다. 회사는 운영 장애와 슬랙 메시지, 고객 문의를 분류해 팀이 검토하고 병합할 풀 리퀘스트까지 돌려주는 Codex 기반 슬랙 봇도 만들었다.

Codex는 엔지니어링 밖으로도 나갔다. 코드래빗은 구글 광고를 풀 리퀘스트로 관리해, 요청을 열고 병합하는 것으로 광고를 집행한다. 콘텐츠 스튜디오 저장소에서는 Codex가 슬라이드와 고객용 문서를 만든다. 길 CEO는 "회사를 최대한 코드로 운영하고 있다"며 "마케팅 문제를 코드 문제로 바꿀 수 있으면 10배 빨리 달릴 수 있다"고 말했다. 메탈이 확인한 오픈AI의 인터뷰 영상에서 그는 Codex 자동화로 자신의 메일과 활동, 하루 일정을 정리한 보고서를 매일 비서에게 보낸다고도 밝혔다.

보안 쪽 변화는 데이브레이크에서 왔다. 코드래빗은 2023년부터 샌드박스 환경에서 저장소를 복제하고 에이전트가 코드를 써서 리뷰를 돕게 해 왔다. 최근에는 데이브레이크를 통해 오픈AI의 사이버 모델을 받아 자사 플랫폼 내부 침투 시험에 썼다. 길 CEO는 "상상도 못 한 고급 해킹을 포함해 여러 취약점을 찾았다"고 밝혔다. 영상에서 그는 사이버 모델이 기존 시스템을 뚫는 데 매우 뛰어나다며 "불은 불로 막아야 한다"고 말했다. 메탈은 지난주 오픈AI의 보안 연구 모델 GPT-6 Cyber 공개도 보도했다.

이 능력은 신제품 코드래빗 시큐어로 시장에 나왔다. 코드래빗 뉴스룸에 따르면 회사는 조직당 최대 5,000달러, 모두 100만 달러 규모의 딥스캔 비용을 대신 내 주는 무료 행사를 열었고, 기존 고객이 아닌 기업과 오픈소스 유지관리자에게도 문을 열었다. 딥스캔은 GPT-6.1 Sol을 포함한 프런티어 모델로 코드베이스 전체를 추론해 공격자가 실제로 닿을 수 있는 결함을 가려내고, 그 코드베이스의 기존 기준에 맞춘 수정안을 내놓는다. 오픈AI 사례에 따르면 행사 2주 동안 딥스캔 1만 3,000건에서 취약점 4만 3,000개 이상이 나왔고, 고객이 그중 수천 개를 이미 고쳤다. 행사는 현재 끝났다.

뉴스룸 발표에는 행사 전 수치도 실렸다. 코드래빗 시큐어는 직전 30일 동안 조직 600곳에서 고위험·치명 등급 취약점 8,000개 이상을 찾았고, 접근 통제 실패와 SQL 인젝션, 인증 실패가 그중 70% 이상을 차지했다. 회사는 취약점이 개발자가 고치는 속도보다 빨리 발견되고 있다고 진단했다. 코드래빗은 오픈AI 데이브레이크 방어 네트워크에 합류했고, 오픈AI의 GPT 사이버 모델을 코드래빗 시큐어에 통합할 계획이다.

AI 엔지니어의 눈으로 보면 이 사례의 핵심 수치는 20배보다 풀 리퀘스트 2,500~3,000개다. 한 사람이 한 달에 그만큼의 변경을 올릴 수 있게 되면 병목은 작성이 아니라 검증과 배포 절차로 넘어간다. 코드래빗이 릴리스 절차와 승인 지점을 다시 그린 것도, 저가 모델로 서브에이전트를 늘리고 상위 모델에 조율을 맡긴 것도 그 병목을 푸는 설계다. 회사는 사람이 일일이 시작하지 않아도 백그라운드 에이전트가 경보와 장애에 대응하는 단계로 가면서, 어떤 변경을 끝까지 가져갈지 판단하는 일을 돕는 쪽으로 제품을 넓히겠다고 밝혔다.