라우터

라우터는 모델 안에 있는 일종의 안내 데스크다. 모델 전체를 큰 병원이라고 생각하면, 그 안에는 내과·외과·소아과처럼 저마다 다른 일을 하는 여러 부서가 있다. 이 부서 하나하나를 전문가라고 부른다. 환자 한 명, 즉 입력값 하나가 들어올 때마다 라우터는 그 자리에서 어느 부서로 보낼지 판단한다.

이런 구조를 쓰는 모델은 몸집 전체는 아주 커도, 실제로 매 순간 일하는 부서는 그중 일부뿐이다. 병원 전체 의료진 수는 많아도, 환자 한 명을 볼 때 실제로 진료실 불이 켜지는 곳은 몇 곳 안 되는 것과 같다. 라우터가 입력마다 몇 명의 전문가를 얼마나 자주 부르느냐에 따라, 그 순간 실제로 드는 계산 비용이 달라진다.

문제는 이 라우터가 어떤 기준으로 누구를 고르는지, 그리고 실제로 몇 명을 고르는지가 회사 안에서만 아는 비밀인 경우가 많다는 점이다. 전체 몸집(전체 파라미터)은 발표에서 자랑스럽게 밝혀도, 매번 실제로 일하는 인원(활성 파라미터)은 공개하지 않는 일이 흔하다.

기사 속 큐원3.8 맥스는 활성 파라미터를 "특정 입력 토큰을 처리할 때 라우터가 선택한 일부 전문가를 통해 실제 계산에 사용되는 매개변수 규모"라고 스스로 설명했다. 오해하기 쉬운 점: 라우터가 아무렇게나 부서를 고르는 게 아니라, 학습 과정에서 어떤 입력에 어떤 전문가가 어울리는지를 익힌 결과에 따라 판단한다.

전문가 혼합 구조를 쓴다고 알려진 AI 챗봇에게 이렇게 물어보라. "너는 전문가 혼합 구조야? 그렇다면 한 번 답할 때 라우터가 몇 명의 전문가를 고르는지 알아?" 대부분은 정확한 숫자를 모른다고 답하거나 개발사도 공개하지 않았다고 답할 것이다. 그 답변 자체가 이 개념을 이해하는 좋은 사례가 된다.