라우팅 전략

라우팅 전략은 하나의 일을 하나의 AI에게 몰아주지 않고, 일의 성격에 따라 여러 AI 중 누구에게 맡길지 나누는 방법이다. 병원에서 어려운 진단은 비싼 전문의에게, 간단한 검사나 처방은 일반의에게 맡기는 것과 비슷하다. 값비싸고 실력이 뛰어난 쪽은 방향을 정하는 결정적인 순간에 쓰고, 그보다 저렴하고 가벼운 쪽은 반복적이고 단순한 일을 처리하는 데 쓰는 식이다.

예를 들어 코드를 만드는 작업에서는 전체 설계나 어려운 판단은 성능이 뛰어난 비싼 모델에게 물어보고, 그 설계를 실제 코드로 옮기는 반복 작업은 훨씬 싼 모델에게 넘기는 식으로 나눌 수 있다. 이렇게 하면 매번 가장 비싼 쪽을 쓰지 않아도 되고, 전체 비용을 크게 줄이면서도 결과물의 품질은 크게 떨어지지 않는다.

이런 나누기가 필요한 이유는 모델마다 성능과 가격의 균형이 다르기 때문이다. 성능이 가장 뛰어난 모델이 항상 가장 비싸다는 점, 그리고 어떤 작업은 굳이 최고 성능이 필요 없다는 점을 고려해 상황에 맞게 배분하는 습관이 라우팅 전략의 핵심이다.

기사에서는 개발자가 "설계 방향을 정할 때는 Fable과 대화하고, 실제 작업 지시는 GLM에 넘기는 식으로 두 모델을 나눠 쓰고 있다"고 밝힌 대목이 라우팅 전략을 보여주는 사례다. 이는 특정 제품의 기능 이름이 아니라, 비용과 성능을 따져 작업을 나누는 사용자의 판단과 습관을 가리키는 말이다.

같은 질문이나 코드 작업을 성능이 다른 두 AI에게 각각 시켜보고 결과와 소요 시간, 비용을 비교해본다. 예를 들어 복잡한 설계 질문은 비싼 모델에게, 그 설계를 실제로 구현해 달라는 요청은 저렴한 모델에게 따로 물어본 뒤 결과물의 품질 차이가 얼마나 나는지 확인해보면 라우팅 전략의 감을 잡을 수 있다.