오픈AI, Decisions API 정식 출시

오픈AI가 10월 22일 Decisions API를 정식 출시했다. 앱과 에이전트가 입력을 분류하고, 요청을 어디로 보낼지 정하고, 다음에 무슨 행동을 할지 고르는 작은 판단을 맡기는 전용 API다. 회사는 GPT-6 Luna로 만든 이 API가 답의 범위가 정해진 질문에 모델의 지능을 집중시켜, 텍스트·이미지·구조화된 입력을 받아 Responses API로 GPT-6 Luna를 부를 때보다 최대 10배 빠르게 결정을 낸다고 밝혔다. 오픈AI 개발자 계정은 같은 날 X에 "전체 모델 응답을 생성하지 않고도 텍스트와 이미지를 분류하고 입력을 평가해 다음에 무슨 일이 일어날지 정한다"고 소개했다.

메탈은 10월 7일 Decisions API 베타 공개를 보도한 바 있으며, 정식 버전에는 그 뒤 2주 남짓 사이에 붙은 기능이 담겼다. 실시간 음성 모델 GPT-Live와의 네이티브 연동, 반복해서 쓰는 맥락을 위한 프롬프트 캐싱, 미국과 유럽연합의 추론 레지던시가 추가됐다. 개발자는 JSON을 변환 없이 입력으로 넘기고, 질문 지시문에 이미지를 넣고, 요청 한 번에 질문을 최대 400개까지 던질 수 있다. 회사에 따르면 이전 한도의 두 배다. 오픈AI는 아시아 여러 지역에 용량을 늘려 지연 시간도 계속 줄였다고 설명했다.

쓰는 법은 단순하다. 개발자가 질문 하나와 허용되는 답을 정의하고, 판단에 필요한 맥락을 텍스트나 이미지, JSON으로 건넨다. API가 돌려주는 답은 세 유형이다. predicate는 어떤 조건이 참일 확률을 0에서 1 사이 값으로 추정한다. 상품에 눈에 보이는 손상이 있는지 같은 질문이다. choice는 개발자가 미리 정한 선택지 가운데 하나를 고르고 확률과 신뢰도를 함께 준다. 에이전트가 작업을 계속할지, 다시 시도할지, 사용자에게 되물을지를 고르는 식이다. score는 순서가 있는 루브릭 단계에 입력을 매기고 단계 번호의 확률 가중 평균을 돌려준다.

초기 고객이 공개한 수치는 속도와 비용에 몰려 있다. 비스와룹 팔릿(Biswaroop Palit) 박스 제품관리 부사장은 "박스 익스트랙트와 Decisions API로 업무 문서를 분류해 다음 단계로 보낸다"며 "평가에서 보험 증명서 30건의 경로 선택이 Responses API와 같은 정확도로 약 5배 빨랐다"고 밝혔다. 신뢰도가 낮은 건은 검토자에게 넘긴다는 설명이다. AJ 스타이번버그(AJ Stuyvenberg) 데이터독 스태프 엔지니어는 에이전트가 만든 셸 명령의 위험도를 실행 전에 채점하는 데 이 API를 쓴다며 "다른 프런티어 모델과 비교해 비슷한 정확도로 p95 기준 40배 빨랐다"고 말했다.

다른 고객 수치도 같은 방향이다. 르네 술탄(René Sultan) 램프 리서치 엔지니어는 AI 비용을 실제 작업에 귀속시키는 일이 GPT-6 Luna보다 "4배 빠르고 30% 저렴해졌다"고 했다. 아지트 그레왈(Ajeet Grewal) 시에라 엔지니어는 실시간 고객 대화에서 다음 행동을 고르는 데 쓰는데 p95 280밀리초 미만으로 돌고, 이전 방식보다 약 3배 빠르며 호출당 비용은 90% 낮다고 밝혔다. 앤드루 수(Andrew Hsu) 스피크 최고기술책임자는 "언어 학습자에게는 타이밍이 중요하다"며 GPT-Live에 붙인 Decisions API가 다음 행동까지 걸리는 시간을 1.4초에서 0.13초로 90% 넘게 줄였다고 말했다.

오픈AI 내부에서도 쓰임새가 넓다. 닷츠(dots) 팀은 응답 시간을 줄이는 데, 개인 금융 팀은 거래 내역 설명을 분류하는 데 쓴다. 커뮤니케이션 팀은 언론 보도를 주제별로 나누고 핵심 메시지를 강화하는지 반박하는지 점수를 매겨 더 들여다볼 기사를 골라낸다.

GPT-Live 연동은 이번 정식 출시의 대표 기능이다. 메탈은 10월 17일 GPT-Live 음성 프리셋 추가를 다뤘는데, 이제 음성 대화 도중에도 판단을 끼워 넣을 수 있다. 기존 GPT-Live 세션의 session.triggers에 decisions 설정을 넣으면, 사용자 발화가 받아쓰기로 들어올 때마다 Decisions API가 질문에 답하고 decision.event를 낸다. 오픈AI가 든 예시는 아바타의 표정이다. 사용자의 최근 말에 맞춰 중립·기쁨·슬픔·걱정 가운데 하나를 고르면 앱이 그 표정으로 캐릭터를 움직인다. 상담 에이전트라면 되물을지, 요청을 넘길지, 상급자에게 올릴지를 대화 중에 정할 수 있다고 회사는 설명했다.

메탈이 확인한 발표문 속 5분 25초 시연 영상은 이 구조를 화면으로 보여 준다. 느슨하게 적힌 사용자 입력을 영업 리드로 나누는 데모에서 발표자는 배속 재생이 아니라며 서버 쪽 응답이 100밀리초 미만이었다고 말했다. 게임 화면 프레임을 받아 자동차가 차로를 지킬지 좌우로 옮길지 고르는 데모, 허깅페이스가 빌려준 프로그래머블 로봇 시제품 라벤더가 카메라 프레임을 보고 사과나 게임패드 쪽으로 고개를 돌리는 데모가 이어졌다. 발표자는 복잡한 컴퓨터 사용이나 브라우저 사용에는 여전히 Astra 급 능력이 필요하다고 선을 그었다.

과금 구조도 일반 모델 호출과 다르다. 회사에 따르면 입력 토큰 100만 개당 0.10달러, 캐시된 입력은 100만 개당 0.01달러이고 출력 토큰에는 요금을 매기지 않는다. 지역 처리는 미국과 유럽연합에서 가능하고, 자격을 갖춘 고객에게는 데이터를 남기지 않는 Zero Data Retention을 제공한다. 오픈AI는 앱이 자주 내리는 반복 판단 하나부터 질문과 답, 맥락을 정의해 Decisions Playground나 개발자 가이드로 시험해 보라고 권했다.

콘텐츠와 서비스를 운영하는 쪽에서 보면 이 설계는 판단 한 번을 생성이 아니라 조회에 가까운 비용으로 만든다. 답이 확률이나 선택지, 점수로 돌아오니 신뢰도가 낮은 건만 사람에게 넘기는 분기를 짜기 쉽다. 박스와 시에라, 스피크가 공개한 수치가 모두 속도와 호출 단가에 몰린 이유도 여기에 있다. 생성 모델이 문장을 쓰는 동안 기다리던 작은 판단들이 이제 대화와 화면 한가운데로 들어온다.