지오스타 아키텍트, 5억 명 AI 탐색 구축기 공개

미디어 기업 지오스타의 비제이 세샤드리 최고 아키텍트가 오픈AI API로 만든 대화형 콘텐츠 탐색 서비스를 약 8주 만에 15개 이상 언어로 내놓은 과정을 공개했다. 오픈AI는 11월 11일(미국 시간) 경영진 인터뷰 시리즈 Executive Function에 세샤드리와의 대담을 실었다. 지오스타는 5억 명 넘는 소비자가 쓰는 엔터테인먼트·스포츠 중계 플랫폼을 운영하며, 라이브 스포츠 동시 시청자를 최대 7,250만 명까지 받아 낸 적이 있다. 세샤드리는 그 규모에서 AI를 실서비스로 돌리는 해법을 한 단어로 요약했다. 평가, 곧 evals였다.

지오스타가 스트리밍 서비스 지오핫스타에 넣은 것은 영상과 크리켓 기록을 찾아 주는 대화형 비서다. 시청자는 말로 영화와 드라마, 과거 하이라이트, 생중계 경기의 주요 장면, 크리켓 통계를 찾고, 결과는 화면 위 시각적 대화로 돌아온다. 대담은 싱가포르에서 열린 오픈AI 이그제큐티브 서밋에서 이뤄졌고, 오픈AI 아세안 시장 진출 총괄 시다스 샤르마가 진행했다. 세샤드리는 콘텐츠 탐색이 지난 25년 동안 거의 바뀌지 않았고 추천이 마지막 큰 변화였다고 짚었다. 그는 "콘텐츠 탐색은 본래 시각적이지만, 그 시각적 선택지에 말로 하는 취향과 대화를 결합하면 강력한 새 패러다임이 생긴다"고 말했다. 지오스타는 이 방식을 음성 시각 인터페이스라고 부른다.

일정은 빠듯했다. 지오스타는 10월과 11월에 개념을 다듬기 시작했고, 2월에 대형 크리켓 대회가 잡혀 있었다. 주어진 시간은 두 달 남짓이었고 상대할 관객은 둘이었다. 엔터테인먼트 시청자는 "금요일 저녁이니 놀라게 해 줘"라고 말하거나 제목을 모르는 영화를 묘사한다. 스포츠 팬은 위켓이 무너진 순간이나 연속 식스, 특정 선수가 몇 점을 낸 경기를 찾고, 크리켓 전문가는 공 하나하나의 통계를 원한다. 세샤드리는 서로 다른 세 가지 탐색 문제를 여러 언어로 한 경험 안에 묶어야 했다고 설명했다.

기술 설계는 정확도, 지연 시간, 비용의 삼각 균형에서 출발했다. 모든 엔지니어링 결정이 셋을 동시에 맞춰야 했다는 것이다. 음성 탓에 이 균형은 더 까다로워졌다. 세샤드리에 따르면 지오스타 사용자의 60% 이상이 글 대신 음성으로 원하는 것을 말한다. 답은 정확하고 빨라야 하면서 수억 명 규모에서 경제성도 맞아야 했다. 그는 "진부하게 들릴지 몰라도 답은 평가, 평가, 그리고 평가다"라며 "이런 애플리케이션을 처음 만든다면 준비됐다고 생각해도 평가의 중요성을 과소평가하게 될 것"이라고 말했다.

세샤드리가 말하는 평가 체계는 두 겹이다. 출시 전에는 평가 프레임워크가 프롬프트 수정을 이끌고, 출시 뒤에는 고객 행동과 실패가 피드백 고리를 거쳐 새 평가 사례가 된다. 그는 이 플라이휠이 스스로 커질 수 있지만 제대로 만들기는 극히 어렵다고 밝혔다. 스포츠 통계 평가에는 스포츠 잡지 편집자처럼 열성 팬이 무엇을 물을지 아는 사람들이 참여했다. 프롬프트만으로 시작할 수는 없고 깊은 인간 전문성으로 시스템의 씨앗을 뿌려야 한다는 것이 그의 설명이다.

팀은 작게 꾸렸다. 데이터 과학자와 엔지니어로 이뤄진 소규모 팀이 분명한 문제 정의를 중심에 두었고, 오픈AI의 현장 배치 엔지니어들이 함께 앉아 반드시 맞혀야 할 몇 가지를 추렸다. 첫째는 범위였다. 음성이나 글 입력은 무엇이든 물을 수 있게 하므로, 팀은 시스템이 답하지 말아야 할 것부터 정했다. 가드레일이 먼저였다. 평가는 씨앗 데이터셋에서 출발해 모델로 변형을 늘렸고, 한 모델이 답하는 방법을 정하면 경쟁 목표를 가진 다른 모델이 검증자로 채점하는 메이커 체커 구조를 짰다. 이른바 LLM 판사다. 그러자 판사는 누가 시험하느냐는 질문이 남았고, 검증자 설계 자체가 또 하나의 평가 문제가 됐다. 코덱스는 평가 사례 생성과 시스템 수정 속도를 끌어올렸지만, 빨리 만든다고 판단과 검증이 필요 없어지지는 않았다고 세샤드리는 덧붙였다.

돌아보며 그가 꼽은 아쉬움은 운영 단계의 모델 효능 감시다. 세샤드리는 이를 더 일찍 갖췄어야 했다고 밝혔다. P99 지연 시간 같은 전통적 인프라 지표는 여전히 중요하지만, 실서비스에서 모델이 제대로 답하고 있는지는 따로 재야 한다는 것이다.

경영진을 향한 조언은 세 갈래였다. 먼저 기술이 할 수 있는 것과 기업 내부의 현실 사이에는 큰 간극이 있고, 프런티어 모델 발표를 하나하나 따라가지 못했다고 혼자 뒤처진 것이 아니라고 했다. 다음으로 활동이 아니라 결과를 보라고 주문했다. 생성된 코드 줄 수 같은 투입 지표는 의미 있는 가치를 만들었는지 알려 주지 않는다. 그는 "AI는 기업을 위한 거대한 단순화의 망치"라며 "업무 프로세스와 워크플로, 소프트웨어 엔지니어링 체계를 단순하게 만드는 데 쓰지 않는다면 엄청난 기회를 낭비하는 것"이라고 말했다. 마지막으로 필요한 인간의 기술과 주체성을 대부분의 기업이 과소평가한다고 지적했다. 뛰어난 엔지니어에게 코덱스 같은 도구를 주면 효과가 몇 배로 커지지만, 실서비스를 검증할 판단력이 없으면 위험도 몇 배로 커진다는 것이다. 세샤드리는 손에 로켓을 쥐고 있는 셈이니 검증과 가드레일을 갖추고 열쇠를 맞는 사람에게 넘겨야 한다고 강조했다.

메탈은 오픈AI가 터미널 X의 투자 판단 평가 사례를 공개한 소식과 크레디세존의 ChatGPT Enterprise 도입 사례를 보도한 바 있다. 메탈이 확인한 오픈AI 원문은 이 사례의 사용 제품을 API와 코덱스로, 업종을 미디어·엔터테인먼트·스포츠로 분류했다. 오픈AI는 같은 페이지에서 전 세계 100만 곳 넘는 기업이 자사 기술로 의미 있는 성과를 내고 있다고 밝혔다.

콘텐츠 유통의 눈으로 보면 이 대담의 무게는 모델보다 탐색 경험을 다시 설계한 데 있다. 추천 알고리즘이 25년 동안 시청 이력으로 다음 작품을 밀어 왔다면, 지오스타는 "슬픈데 기분 좋아질 만한 걸 보여 줘" 같은 그 순간의 감정을 말로 받아 화면으로 돌려주는 쪽을 택했다. 그 전환을 수억 명 규모에서 지탱한 것은 화려한 데모가 아니라 무엇에 답하지 않을지 정한 가드레일과, 실패를 다음 시험 문제로 바꾸는 평가 고리였다. 세샤드리의 결론처럼 AI 서비스의 성패는 얼마나 많이 만들었느냐가 아니라 무엇을 검증했느냐로 갈린다.