활성 파라미터

활성 파라미터란 모델이 질문 하나를 처리할 때 실제로 켜서 쓰는 부분의 크기를 말한다. 모델 전체를 커다란 도서관이라고 하면, 그 도서관에 꽂힌 책 전부가 전체 파라미터고, 질문 하나에 답하려고 실제로 꺼내 읽는 몇 권의 책이 활성 파라미터다. 도서관은 크게 지어놓아도, 매번 서가 전체를 뒤지지 않고 필요한 칸만 열어보면 되니 속도와 비용에서 이득을 본다.

이런 구조를 쓰는 모델은 흔히 전체 파라미터 숫자와 활성 파라미터 숫자를 함께 표기한다. 예를 들어 '300억 개 중 30억 개 활성'이라면, 모델이 알고 있는 지식의 총량은 300억 개 수준이지만 질문 하나를 처리하는 데 드는 연산과 응답 속도는 30억 개짜리 모델에 가깝다는 뜻이다. 지식은 넓게 쌓아두고, 매번 쓰는 힘은 적게 든다는 게 이 구조의 핵심 매력이다.

다만 전체 파라미터 숫자만 크게 홍보하고 활성 파라미터를 밝히지 않는 경우도 있다. 이럴 땐 모델을 실제로 돌리는 데 얼마나 계산 비용이 드는지 가늠하기 어려워진다.

한 기사는 '전체 파라미터는 300억 개인데, 토큰 하나를 만들 때 실제로 계산에 참여하는 건 30억 개'라고 설명하며 이 구조 덕에 비슷한 규모 모델보다 빠르다고 전했다. 반대로 다른 기사는 알리바바가 2.4조 파라미터 모델을 공개하면서 활성 파라미터 숫자는 끝내 밝히지 않아, 외신들이 950억 개와 220억 개로 서로 다르게 추정하는 사례를 다뤘다. 흔한 오해는 전체 파라미터 숫자만 보고 모델의 실제 운영 비용을 짐작하는 것인데, 실제 연산 비용을 가늠하려면 활성 파라미터 쪽을 봐야 한다.

챗봇에 다음과 같이 물어보면 활성 파라미터 개념이 실제로 어떻게 답으로 돌아오는지 볼 수 있다.

"네가 사용하는 모델의 전체 파라미터 수와, 질문 하나를 처리할 때 실제로 활성화되는 파라미터 수를 각각 알려줘. 확실하지 않으면 모른다고 말해줘."

모델이 정확한 숫자를 대는 경우는 드물다. 대신 두 숫자가 왜 다른지, 전체 파라미터와 활성 파라미터가 각각 무엇을 뜻하는지 설명하는 답을 받는다면 그 자체로 개념을 확인한 것이다.