전문가 혼합

Mixture of Experts — 모델 안에 「전문가」 부품을 여럿 두고, 질문마다 필요한 몇 명만 깨워 쓰는 구조입니다. 전체 몸집은 크지만 한 번에 일하는 부분은 일부라, 큰 모델의 실력을 적은 연산으로 내는 요령입니다.

병원에 비유하면 — 의사 100명이 있지만 환자 한 명은 관련 과 두세 명만 봅니다. 딥시크·미스트랄이 이 구조로 「싸고 강한 모델」을 만들며 유명해졌고, 최신 대형 모델 상당수가 채택하고 있습니다. 발표 자료의 「총 파라미터 6,000억, 활성 파라미터 370억」 같은 표기가 MoE라는 신호입니다.