이미지: OpenAI
"시리야", "헤이 구글" — 음성 비서에게 말을 걸어 본 사람이라면 누구나 아는 답답함이 있다. 말이 채 끝나기 전에 끼어들거나, 다 말했는데도 한참 침묵이 흐르는 그 어색한 순간들이다. 오픈AI가 8월 3일(현지시간) 공개한 엔지니어링 블로그는 바로 그 답답함이 어디서 오는지, 그리고 그걸 없애기 위해 지난 6개월간 시스템을 어떻게 갈아엎었는지를 담고 있다.
무전기에서 전화로
지금까지의 음성 AI는 비유하자면 무전기였다. 무전기는 한 사람이 말을 마치고 "오버"라고 해야 상대가 말할 수 있다. 음성 AI도 마찬가지로, '턴 감지기'라는 작은 모델이 사용자의 말이 끝났는지를 먼저 추측하고, 그 판단이 끝나야 비로소 본 모델이 답을 만들기 시작했다. 문제는 이 추측이 본질적으로 어렵다는 것이다. 너무 빨리 판단하면 사용자의 말을 끊고, 너무 늦게 판단하면 응답이 굼떠진다. 사람끼리는 0.몇 초 만에 자연스럽게 주고받는 대화의 리듬을, 기계는 따라가지 못했다.
오픈AI의 3세대 음성 시스템 GPT-Live는 이 무전기를 전화로 바꿨다. 핵심은 '풀듀플렉스(full-duplex)' — 듣는 동시에 말할 수 있는 음성 모델이다. 전화 통화에서 우리가 상대 말에 "응, 맞아" 하고 맞장구치면서도 대화가 끊기지 않는 것처럼, GPT-Live는 턴 감지기라는 중간 판단 단계 자체를 오디오 경로에서 제거했다. 말이 겹쳐도, 끼어들어도 대화가 흐른다.
말하는 뇌와 생각하는 뇌를 분리했다
그런데 빠르게 반응하는 것과 깊게 생각하는 것은 서로 당기는 힘이다. 즉답에 최적화된 모델은 어려운 질문에 얕아지기 쉽다. 오픈AI의 해법은 콜센터의 분업과 닮았다. 전화를 받는 상담원(음성 모델)은 고객과의 대화를 계속 이어가고, 어려운 질문이 나오면 뒤에 앉은 전문가(GPT-5.5 같은 프런티어 모델)에게 쪽지를 넘긴다. 전문가가 자료를 찾아 답을 정리하는 동안에도 상담원은 "네, 확인해 드릴게요" 하며 대화를 끊지 않는다.
기술적으로는 이를 '비동기 위임'이라 부른다. 오디오는 클라이언트와 음성 모델 사이의 전용 고속 경로로만 움직이고, 검색·도구 호출·깊은 추론은 별도 경로에서 처리된다. 느린 검색이 자기 결과를 늦출 수는 있어도, 목소리의 흐름 자체를 멈추게 할 수는 없는 구조다. 원문에는 GPT-5.5가 뒤에서 검색하는 동안 GPT-Live가 자연스럽게 대화를 이어가는 실제 음성 데모(오디오)도 실려 있다 — 원문에서 직접 들어볼 수 있다.
달리는 차의 바퀴를 갈아 끼우는 법
긴 통화에는 또 다른 문제가 있다. 대화가 길어질수록 모델이 기억해야 할 맥락(컨텍스트)이 계속 쌓이고, 결국 한도를 넘어선다. 맥락을 압축해 줄이면 되지만, 압축하는 동안 대화를 멈출 수는 없다.
오픈AI의 해법은 달리는 차를 세우지 않고 바퀴를 갈아 끼우는 것이다. 기존 모델 인스턴스가 대화를 계속하는 동안, 뒤에서는 압축된 맥락을 넣은 교체 인스턴스를 미리 데워 둔다. 두 인스턴스를 잠시 나란히 돌리다가, 새 쪽이 완전히 준비되는 순간 소리 없이 갈아탄다. 통화하는 사람은 아무것도 눈치채지 못한다.
성능을 위한 재작성도 있었다. 미디어 처리 코드는 파이썬에서 Go 언어로 다시 썼는데, 오픈AI에 따르면 새 시스템에서 가장 느린 축(p95)이 예전 시스템의 중간값(p50)과 같은 수준이 됐다. 쉽게 말해, 예전의 '보통'이 지금의 '최악'이 된 것이다.
호텔 체크인 6번을 얼굴 패스 1번으로
응답성은 통화 버튼을 누르는 순간부터 시작된다. 음성 연결의 표준 기술인 WebRTC는 안정적이지만, 세션 하나를 시작하는 데 서버와 6번을 오가야 했다. 호텔에 들어갈 때마다 여권 확인, 서명, 카드 등록을 매번 반복하는 것과 비슷하다.
오픈AI는 이 절차를 뜯어 6번의 왕복을 1번으로 줄인 WARP(WebRTC Abridged Roundtrip Protocol)라는 프로토콜을 만들었다. 미리 등록해 둔 얼굴 패스로 문이 바로 열리는 셈이다. 여기에 연결 정보를 사전에 협상해 두는 '인스턴트 커넥트'까지 더하면, 클라이언트는 UDP 패킷 단 하나로 통화를 시작할 수 있다. 주목할 점은 오픈AI가 WARP를 자사 비밀 무기로 감추지 않고 공개 규격으로 설계해 IETF 표준화를 진행 중이라는 것이다. 오픈소스 구현체인 libwebrtc와 Pion에는 이미 지원이 추가됐다.
관객 몰래 진행된 리허설
새 시스템은 출시 전 특이한 방식으로 검증됐다. 실제 ChatGPT 음성 사용자의 통화 일부를 기존 시스템과 새 시스템 양쪽에 동시에 흘려보내되, 사용자에게는 기존 시스템의 목소리만 들려준 것이다. 정식 공연 전에 실제 관객의 소리로 무대 뒤 리허설을 한 셈이다.
이 '섀도 테스트'에서 서류상 계산과 현실의 차이가 드러났다. 용량의 병목은 예상했던 GPU가 아니라 CPU 쪽 스트림 처리와 네트워크 경로에서 먼저 왔고, 사용자와 서버 사이의 물리적 거리가 지연의 1차 변수라는 것도 확인됐다. 긴 통화에서만 나타나는 메모리 압박, 재접속 시의 상태 복원 문제처럼 짧은 부하 테스트로는 절대 잡히지 않는 결함들도 이 과정에서 걸러졌다.
에디터의 시선 — 3년을 직접 써 보며 지켜본 변화
이 발표가 왜 중요한지는 숫자보다 직접 겪어 온 시간으로 설명하는 편이 빠를 것 같다. 에디터는 2023년 가을 ChatGPT에 음성 모드가 처음 붙었을 때부터 지금까지, 유튜브 콘텐츠 제작과 AI 강의 시연을 위해 세대별 음성 모드를 계속 써 왔다.
1세대(2023년)는 솔직히 대화가 아니었다. 질문을 던지면 3~5초의 침묵이 흐른 뒤에야 답이 시작됐다. 오픈AI 스스로 밝힌 당시 평균 지연이 GPT-3.5 기준 2.8초, GPT-4 기준 5.4초였다. 구조를 알면 당연한 숫자다 — 내 말을 받아 적고(음성인식), 텍스트로 답을 쓰고(LLM), 그걸 다시 읽어 주는(음성합성) 세 개의 공정을 차례로 통과해야 했기 때문이다. 강의 시연 중에 침묵이 흐르는 동안 "지금 생각 중입니다"라고 대신 변명해 준 게 한두 번이 아니다. 그건 대화라기보다 음성으로 하는 검색에 가까웠다.
2세대 어드밴스드 보이스(2024년, GPT-4o)에서 처음으로 "대화 같다"는 느낌을 받았다. 음성을 텍스트로 바꾸지 않고 모델이 소리를 직접 알아듣기 시작하면서 응답이 평균 0.3초대로 내려왔고, 목소리에 감정과 억양이 실렸다. 그런데 쓰면 쓸수록 남는 어색함이 있었다. 상대 말에 "아, 그렇구나" 하고 맞장구만 쳐도 AI는 그걸 끼어들기로 오해하고 말을 뚝 끊었다. 반대로 내가 생각을 고르느라 잠깐 멈추면 말이 끝난 줄 알고 성급하게 답을 시작했다. 촬영 중 게스트와 셋이서 대화를 시켜 보면 이 문제가 훨씬 도드라졌다 — 사람 둘이 자연스럽게 주고받는 속도를 기계 혼자 못 따라갔다. 이번 발표를 읽고서야 그 원인이 '턴 감지기'라는 구조 자체에 있었다는 걸 알았다. 모델이 둔한 게 아니라, 무전기 구조에서는 아무리 좋은 모델도 그렇게 될 수밖에 없었던 것이다.
그리고 3세대 GPT-Live는 그 구조를 아예 버렸다. 겹쳐 말해도 흐름이 유지되는 건 모델이 더 눈치가 빨라져서가 아니라, 애초에 끊길 이유가 없는 배관으로 갈아탔기 때문이다. 3년간의 변화를 한 줄로 줄이면 이렇다 — 1세대는 지능의 문제였고, 2세대는 속도의 문제였고, 3세대에 와서야 비로소 '대화의 구조' 문제를 풀었다.
이 경험에서 나온 실무 교훈이 하나 있다. 데모 영상의 매끄러움과 실제 사용의 어긋남 사이 간극은 대부분 모델의 지능이 아니라 이 글이 다룬 '배관' — 지연, 끊김, 어색한 침묵 — 에서 생긴다는 것이다. 국내 기업이 음성 인터페이스를 검토할 때 어떤 모델을 쓸지만 따지고 전송 계층은 통신사 문제로 미뤄 두는 경우를 자주 보는데, 이번 발표는 그 순서가 틀렸다는 걸 보여 준다. 오픈AI 정도의 회사가 모델 자랑이 아니라 배관 공사의 실패담을 6개월치나 풀어놓은 이유이기도 하다.
마지막으로 방향성. 이 아키텍처는 이미 ChatGPT 음성이 대화를 넘어 컴퓨터 제어와 에이전트 조율로 확장되는 기반이 되고 있고, 같은 구조의 GPT-Live API도 예고됐다. 음성이 AI의 보조 입력이 아니라 에이전트를 부리는 기본 인터페이스가 되는 그림이다. 전화처럼 자연스러운 대화는 그 전제 조건이었다. 키보드 없이 말로 일을 시키는 시대의 관문이 이번에 열렸다고 보는 이유다.
