라우팅 알고리즘

라우팅 알고리즘은 콜센터의 배차 담당자와 비슷하다. 전화(요청)가 걸려오면 담당자가 지금 비어 있는 상담원, 그 문제를 가장 잘 아는 상담원, 혹은 정해진 순서에 따라 특정 상담원에게 전화를 돌린다. AI 서비스에서는 이 상담원 자리에 여러 모델이나 서버가 앉아 있고, 라우팅 알고리즘이 어떤 요청을 어디로 보낼지 결정한다.

이런 장치가 필요한 이유는 하나의 도구가 항상 하나의 상담원만 바라보게 만들어져 있으면 뒤에서 다른 상담원으로 바꿔치기하기가 어렵기 때문이다. 예를 들어 평소 쓰던 코딩 도우미는 그대로 켜둔 채, 뒤에서는 상황에 따라 비용이 싼 모델로 보내거나, 민감한 코드는 회사 내부 서버로만 보내거나, 응답이 자꾸 실패하면 다른 모델로 자동으로 넘기는 식의 분기를 짤 수 있다. 이 분기 규칙 자체가 라우팅 알고리즘이며, 단순히 순서대로 돌리는 것부터 조건을 따져 똑똑하게 고르는 것까지 형태는 다양하다.

엔비디아의 스위치야드 관련 기사는 "타입이 정해진 라우팅 알고리즘을 제공한다"고 소개하며, 개발자가 여러 모델에 트래픽을 나누거나 신호에 따라 단계별로 다른 모델을 호출하는 규칙을 직접 짤 수 있다고 설명한다. 여기서 오해하기 쉬운 점은, 라우팅 알고리즘이 새로운 답을 만들어내는 게 아니라 요청을 누구에게 보낼지만 정한다는 것이다. 실제로 답을 만드는 것은 항상 라우팅 대상으로 선택된 모델이다.

직접 코드를 짜지 않아도 개념을 확인해볼 수 있다. 평소 쓰는 코딩 에이전트나 챗봇에 이렇게 물어보자: "여러 AI 모델에 요청을 나눠 보내는 라우팅 알고리즘을 하나 설계해줘. 조건은 1) 응답 실패율이 높아지면 다른 모델로 자동 전환 2) 민감한 내용은 항상 특정 모델로만 전송 3) 나머지는 비용이 싼 모델 우선. 이 세 조건을 처리하는 의사코드를 보여줘." 이렇게 하면 라우팅 규칙이 실제로 어떤 조건문들의 조합인지 감을 잡을 수 있다.