혼합 전문가 아키텍처

혼합 전문가 아키텍처는 병원에 비유하면 이해가 쉽다. 종합병원에는 수십 명의 전문의가 있지만, 환자가 오면 모든 의사가 한꺼번에 진료하지 않는다. 접수처가 증상을 보고 필요한 전문의 몇 명만 불러온다. AI 모델도 마찬가지로 내부에 여러 개의 작은 전문가 조각을 두고, 질문이 들어오면 그중 일부만 골라서 계산에 참여시킨다.

이렇게 하는 이유는 몸집을 키우면서도 계산 비용은 아끼기 위해서다. 모델 전체 크기(총 파라미터)는 수조 개에 이를 만큼 커도, 실제로 한 번 답을 낼 때 움직이는 부분(활성 파라미터)은 그중 일부에 불과하다. 덕분에 큰 모델의 지식과 능력은 유지하면서, 답을 내는 속도나 비용은 훨씬 작은 모델 수준으로 줄일 수 있다.

다만 이 구조가 크다고 해서 항상 성능이나 비용 면에서 유리한 것은 아니다. 어떤 전문가를 얼마나 잘 골라 쓰는지, 전문가들이 얼마나 잘 학습됐는지에 따라 실제 결과는 크게 달라진다.

기사는 알리바바의 Qwen3.8 Max를 "2.4T(2조 4000억) 총 파라미터 규모의 MoE(Mixture of Experts) 구조"라고 설명한다. 여기서 오해하기 쉬운 점은, 총 파라미터 숫자가 크다고 곧 더 똑똑하거나 더 저렴하다는 뜻은 아니라는 것이다. 실제로 같은 기사에서 Qwen3.8 Max는 벤치마크 점수와 작업당 비용 모두에서 오픈소스 모델 Kimi K3에 뒤처진 것으로 나타났다. 몸집(총 파라미터)과 실제 성능·효율은 별개의 문제라는 점을 보여주는 사례다.

새로운 LLM 소식을 접할 때 두 가지 숫자를 함께 찾아보자. 하나는 총 파라미터, 다른 하나는 활성 파라미터다. 두 숫자가 다르게 표기돼 있다면 그 모델은 혼합 전문가 아키텍처를 쓰고 있다는 뜻이다. 이 차이가 클수록 몸집은 크지만 실제 계산 비용은 낮게 설계됐다고 이해하면 된다.