오픈AI, Ultrafast 장애 대응 사례 공개

오픈AI 엔지니어들이 장애가 터졌을 때 기본으로 켜는 도구는 Codex의 고속 모드 Ultrafast다. 오픈AI는 10월 26일 자사 기술을 사내에서 쓰는 사례를 소개하는 연재 OpenAI on OpenAI에서 Ultrafast가 장애 조사 시간을 몇 시간에서 몇 분으로 줄였다고 밝혔다. 데이터센터 보안 설계를 맡은 AJ 트보예비치(AJ Trbojevic) 기술 스태프는 정형·비정형 데이터를 모아 정리하고 판단 근거를 붙이는 보안 조사에 예전에는 한두 시간이 걸렸다며 "지금은 10~15분이면 끝나고, 때로는 거의 실시간"이라고 말했다.

장애 대응을 주로 지휘하는 에런 프리엘(Aaron Friel) 기술 스태프는 사고가 나면 슬랙에 대응 채널을 열고 Codex에게 그 채널을 지켜보며 조사하고 들어오는 질문에 답하라고 맡긴다. 그는 "장애마다 무엇이 잘못됐을 수 있는지 여러 단계를 거쳐야 하고, 맞는 건초 더미에서 맞는 바늘을 찾는 것이 채널에 모인 사람들의 핵심 일"이라며 "Ultrafast로는 그 건초 더미를 사실상 한꺼번에 뒤질 수 있다"고 설명했다. 메탈이 확인한 오픈AI 공개 영상에서 프리엘은 시스템이 멈추는 순간을 조립 라인의 비상 정지 버튼이 눌린 상황에 빗댔고, Codex가 근본 원인을 찾으며 자신의 눈과 귀 역할을 한다고 말했다.

에이전트가 명령을 실행하고 도구를 쓰게 하는 코드를 만드는 코어 에이전트팀의 애덤 페리(Adam Perry)와 사얀 시소디야(Sayan Sisodiya)도 보안 사고 때 일하는 방식이 바뀌었다. 페리는 "예전에는 Codex에 무언가를 조사해 달라고 맡기고 기다리기엔 느리다는 걸 알아서 나도 동시에 직접 들여다봤다"며 "이제 Codex가 충분히 빨라 주의를 나누지 않고 한 가지에 집중할 수 있다"고 말했다. 시소디야는 로그만이 아니라 슬랙까지 Codex로 훑어 의심스러운 변경을 언급한 대화나 비슷한 증상을 말한 글을 찾는다.

속도에는 문턱이 있다. 제프 니우(Jeff Niu) 기술 스태프는 AI로 답을 찾는 데 30초가 넘으면 슬랙을 확인하거나 동료와 이야기하러 간다고 했는데, Ultrafast를 쓴 뒤로 대부분의 작업이 그 문턱 아래로 내려왔다. 질문을 던지고 다른 일로 넘어갔다가 돌아와서 생각의 흐름을 잃던 일이 사라졌다는 것이다. 그는 큰 리팩터링에도 더 쉽게 손을 댄다며 "기술 부채를 갚기가 지금처럼 쉬웠던 적이 없다"고 말했다. 페리는 아침마다 회의 일정과 답장을 잊은 메시지를 알려 주는 Codex 대화 하나를 비서실장이라고 부르며 계속 띄워 둔다.

이 사례가 기록한 것은 성능 수치가 아니라 주의의 경제다. 페리는 "똑같이 똑똑한 두 사람 중 한 명은 한 시간 뒤에, 다른 한 명은 1분 뒤에 답한다면 두 번째 사람이 훨씬 낫다"고 말했다. 기다리는 시간이 짧아지자 엔지니어들은 미뤄 둔 일을 맡기기 시작했다. 시소디야는 브라우저를 열고 5초씩 생각하며 클릭하던 예전 모델이 너무 느려 양식 작성 같은 일을 맡기지 않았지만, 최신 모델의 컴퓨터 사용 능력이 좋아진 뒤로는 브라우저 클릭을 통째로 넘긴다고 했다. 위임의 범위를 정하는 기준이 모델의 정확도만이 아니라 사람이 기다릴 수 있는 시간이라는 점을 사내 증언이 보여 준다.

메탈은 오픈AI가 GPT-6.1 Sol용 Ultrafast를 출시한 소식을 보도한 바 있다. 오픈AI API 가이드에 따르면 Ultrafast는 API에서 가장 빠른 서비스 등급으로 GPT-6 Astra와 GPT-6.1 Sol에 열려 있으며, 회사는 속도가 더 높은 비용을 정당화할 때 쓰라고 권한다. 도구 호출이 잦은 에이전트 앱에는 웹소켓 연결을 강하게 권장하는데, 연결을 유지하지 않으면 네트워크 부담이 속도 이득을 깎아 먹기 때문이다. 기본 분당 토큰 한도는 최상위 Grow 등급 기준 GPT-6.1 Sol이 4,000만, GPT-6 Astra가 500만이다. 장애 대응처럼 1분이 비용인 현장에서 오픈AI가 스스로 이 등급을 기본값으로 쓰고 있다는 사실이 이번 사례의 요지다.