같은 AI 모델도 추론 프로바이더 따라 속도 15배 차이

같은 모델, 다른 속도

개발자가 오픈소스 LLM 하나를 골라 여러 클라우드에서 돌려보면 응답이 오는 속도가 제각각이라는 걸 금세 알게 된다. AI 벤치마크 업체 아티피셜 애널리시스(Artificial Analysis)가 8월 10일 올린 게시물에 따르면 동일한 모델이라도 이를 서비스하는 추론 프로바이더에 따라 출력 속도가 15배 이상 차이 날 수 있다. 같은 모델 파일을 쓰는데도 어떤 곳에서는 눈 깜짝할 사이에 답이 나오고, 다른 곳에서는 한참을 기다려야 하는 셈이다.

아티피셜 애널리시스는 "동일 모델도 추론 프로바이더에 따라 출력 속도가 15배 이상 차이 난다"고 밝혔다. 이 회사는 오픈AI, 구글 딥마인드 등 주요 랩의 모델뿐 아니라 오픈소스 모델을 서비스하는 클라우드·인프라 업체들의 속도, 가격, 품질을 정기적으로 비교해 공개하는 독립 리서치 조직으로 알려져 있다.

8월 12일 샌프란시스코에서 여는 자리

아티피셜 애널리시스는 이 격차의 원인과 실무적 의미를 짚는 행사를 8월 12일 수요일 샌프란시스코에서 연다고 밝혔다. 행사에는 자사 외에 여러 추론 프로바이더가 함께 참여한다고 예고했지만, 구체적인 참가사 명단은 이번 게시물에 공개되지 않았다.

속도가 왜 이렇게 갈리나

같은 모델이라도 실제 서비스되는 방식은 전혀 다를 수 있다. 추론(inference)이란 학습이 끝난 모델에 질문을 넣고 답을 뽑아내는 과정을 말하는데, 이 단계의 속도는 모델 자체보다 이를 돌리는 인프라의 설계에 더 크게 좌우된다.

요인	설명
하드웨어 종류	범용 GPU와 추론 전용 칩(예: LPU, 웨이퍼스케일 칩)은 같은 모델에서도 처리 속도가 다르다
배치(batching) 전략	여러 요청을 한꺼번에 묶어 처리하면 처리량은 늘지만 개별 응답은 늦어질 수 있다
양자화 수준	모델 정밀도를 낮출수록 속도는 빨라지지만 품질과 트레이드오프가 생긴다
네트워크·리전	사용자와 서버 간 거리, 회선 상태도 체감 지연에 영향을 준다
서빙 소프트웨어	vLLM 등 추론 엔진의 최적화 수준에 따라 같은 GPU에서도 처리량이 갈린다

이런 요소들이 겹치면서 같은 모델이라도 프로바이더별로 초당 토큰 수(모델이 1초에 만들어내는 단어 조각의 수, 응답 속도를 재는 기본 단위)가 크게 벌어진다.

추론 시장의 경쟁 구도

오픈소스 모델이 늘어나면서 모델 자체는 누구나 내려받을 수 있는 시대가 됐다. 대신 경쟁의 무게중심은 "누가 이 모델을 더 빠르고 싸게 서비스하느냐"로 옮겨갔다. Groq는 자체 개발한 전용 칩으로 속도를 앞세우고, Cerebras는 웨이퍼 전체를 하나의 칩으로 쓰는 방식으로 처리량을 끌어올린다. Together AI, Fireworks AI 같은 업체들은 GPU 클라우드 위에서 서빙 엔진을 최적화해 속도와 비용의 균형을 잡는 전략을 쓰는 것으로 알려졌다. 아티피셜 애널리시스의 이번 행사도 이런 인프라 경쟁을 정리해 보여주려는 시도로 풀이된다.

그래서 무엇이 달라지나

모델 선택만큼 어디서 그 모델을 돌리느냐가 실제 서비스 품질을 가른다는 게 이번 발표의 핵심이다. 챗봇이나 코딩 에이전트를 만드는 개발자라면 같은 오픈소스 모델이라도 프로바이더별 속도·가격 비교표를 확인하는 절차가 필수가 된다는 뜻이다. 모델 성능 경쟁이 어느 정도 평준화된 지금, 다음 전장은 결국 "누가 그 모델을 얼마나 빠르고 싸게 돌리느냐"의 인프라 싸움으로 넘어가고 있다.