AI 에이전트용 검색 API, 품질·비용·속도로 줄 세운 지수 나왔다

AI 에이전트 — 답만 하는 게 아니라 검색하고 파일을 만들고 예약까지 대신 해주는 AI — 는 최신 정보나 웹에 흩어진 사실을 찾을 때 외부 검색 API에 의존한다. 문제는 검색 제공자마다 결과 품질과 응답 속도, 과금 방식이 제각각이라는 점이다. 개발자가 어떤 검색 API를 붙이느냐에 따라 같은 모델이라도 실제 작업 성공률과 비용이 크게 달라질 수 있는데, 지금까지는 이를 나란히 비교할 표준 시험이 없었다.

서치 인덱스는 이 공백을 겨냥한다. Parallel, Exa, Firecrawl, You.com, Tavily, Keenable, Brave 7개 제공자를 대상으로, 같은 GPT-5.6 Luna 모델에 검색 제공자만 갈아 끼워 비교한다. 에이전트는 Stirrup이라는 아티피셜 애널리시스의 오픈소스 프레임워크 위에서 돌아가고, 과제 하나당 25회씩 검색과 웹페이지 열람을 반복한다.

세 개의 시험을 하나로 합친 점수

서치 인덱스 점수는 동일한 가중치를 가진 세 벤치마크의 합이다. DeepSearchQA는 답을 찾으려면 여러 번 검색 질의를 던져야 하는 연구형 질문 900개로 구성된다. BrowseComp 부분집합은 여러 단계를 거쳐 브라우징해야 찾을 수 있는 까다로운 사실 200개를 다룬다. AA-Omniscience는 여섯 개 지식 영역에 걸친 질문 600개를 포함한다. 여기에 모델이 검색 없이 스스로 답하는 '도구 미사용' 기준선을 더해, 검색 API가 실제로 얼마나 도움이 되는지를 비교한다.

항목	점수
검색 미사용(기준선)	33
Firecrawl	73
Exa	74
Parallel	75

품질이 좋으면 비용도 낮아진다

검색 결과가 좋을수록 모델이 답을 찾는 데 쓰는 토큰 수가 줄어든다는 점도 눈에 띈다. Parallel Search의 상급 버전(advanced)은 기본 버전(Basic) 대비 토큰 사용량을 40% 넘게 줄였다. 질의 한 번당 검색 비용 자체는 advanced가 더 비싸지만, 전체 과제 하나를 마치는 데 드는 총비용은 오히려 낮았다 — advanced가 0.084달러, Basic이 0.11달러였다.

속도도 비슷한 역전이 나타난다. Parallel Search의 초고속 버전(turbo)은 질의 하나당 응답 시간이 0.51초로 Basic의 1.03초보다 두 배 빠르다. 하지만 품질 점수는 67로 Basic의 73보다 낮아, 에이전트가 원하는 답을 얻기까지 검색을 더 여러 번 반복해야 한다. 결국 과제 하나를 끝내는 데 걸리는 총시간은 두 버전이 비슷해진다. 아티피셜 애널리시스는 비용과 성능의 균형이 가장 좋은 조합으로 Parallel, Firecrawl, Parallel(turbo)을 꼽았다.

참여는 열려 있다

서치 인덱스는 초기 7개 제공자로 시작했지만 문을 닫아둔 벤치마크는 아니다. 다른 검색 API 제공자도 아티피셜 애널리시스에 신청해 지수에 합류할 수 있고, 전체 채점 방식은 공개된 방법론 문서로 누구나 확인할 수 있다.

에디터의 시선

이 벤치마크가 눈에 들어오는 이유는 채점 대상이 모델이 아니라 '부품'이라는 점이다. 지금까지 AI 성능 비교는 거의 전부 모델 대 모델 구도였다 — GPT가 낫냐 클로드가 낫냐, 이번 버전이 지난 버전보다 얼마나 똑똑해졌냐는 식이었다. 그런데 실제로 에이전트를 돌리는 개발자 입장에서는 모델 선택 못지않게 검색 API, 코드 실행 환경, 문서 파서 같은 주변 부품 선택이 결과를 가른다. 아티피셜 애널리시스가 지난주 Optima로 '내 데이터로 맞춤 벤치마크 만들기'를 내놓고 이번 주 곧바로 검색 API 채점표를 낸 흐름을 보면, 이 회사는 채점 대상을 모델에서 에이전트 부품 단위로 계속 쪼개고 있다.

실무에서 검색 API를 붙여본 사람은 이 결과가 낯설지 않을 것이다. 응답이 빠른 검색기를 골랐다가 정작 결과 품질이 떨어져서 모델이 같은 질문을 서너 번 다시 던지는 바람에 총 소요 시간과 비용이 오히려 늘어나는 경우를 흔히 겪는다. Parallel Search(turbo)와 Basic의 총시간이 결국 비슷해진다는 이번 결과가 정확히 그 패턴을 숫자로 보여준다. '초당 응답 속도'만 보고 API를 고르면 안 된다는 뜻이다.

국내에서 검색 기반 에이전트를 만드는 팀이라면 지금 붙여둔 검색 API의 과제당 총비용을 한 번 재보는 게 순서다. 개별 질의 비용이 아니라 과제 하나를 끝내는 데 드는 토큰 총량과 재시도 횟수를 함께 봐야 진짜 비용이 드러난다. 이 지수는 앞으로 몇 주 안에 참여 제공자 수가 늘어날 가능성이 크다 — 문이 열려 있는 벤치마크는 상위권에 들고 싶은 회사들이 먼저 신청하기 마련이고, 그렇게 되면 서치 인덱스는 검색 API 시장의 기본 참조표로 굳어질 것이다.