쿨백-라이블러 발산

쿨백-라이블러 발산은 두 확률분포가 서로 얼마나 다른지를 하나의 숫자로 나타내는 척도다.

일기예보관 두 명을 떠올려보자. 한 명은 내일 비가 올 확률을 80%로 보고, 다른 한 명은 20%로 본다. 두 예보가 완전히 어긋나 있다는 걸 느낌으로는 알 수 있지만, 그 차이가 정확히 얼마나 큰지는 숫자로 재야 비교하거나 좁혀갈 수 있다. 쿨백-라이블러 발산은 바로 이런 상황에서 두 예측(확률분포) 사이의 간극을 정밀하게 계산해주는 수학적 잣대다. 값이 0이면 두 예측이 완전히 같다는 뜻이고, 값이 클수록 서로 동떨어져 있다는 뜻이다.

AI 모델을 훈련시킬 때도 같은 원리가 쓰인다. 이미 잘 만들어진 큰 모델(교사)이 어떤 질문에 대해 답마다 확률을 매겨 내놓으면, 새로 만드는 작은 모델(학생)도 같은 질문에 자기 나름의 확률을 내놓는다. 학생이 정답 자체를 외우는 대신 교사의 확률 분포 전체를 흉내 내도록 만들고 싶을 때, 둘의 차이를 쿨백-라이블러 발산으로 계산해 그 값을 줄이는 방향으로 학생을 조금씩 조정한다. 즉 이 지표는 학생이 교사를 얼마나 닮아가고 있는지 알려주는 성적표 역할을 한다.

한 기사는 대형 언어모델을 절반 크기로 줄이고 4비트로 압축하면서, 학생 모델이 정답 레이블을 보지 않고 오직 교사 모델의 출력 분포를 KL발산으로 맞추는 방식으로 학습했다고 설명했다. 여기서 오해하기 쉬운 점은, KL발산이 특정 AI 회사의 신기술이 아니라 확률과 정보를 다루는 오래된 수학 개념이라는 것이다. 이 기사에서는 그 개념을 모델 압축 훈련에 응용했을 뿐이다.

챗봇에게 다음처럼 구체적인 숫자를 주고 물어보면 개념을 감으로 익힐 수 있다.

"동전 던지기에서 내가 앞면이 나올 확률을 50%로 예상했는데, 실제 데이터를 보니 70%였다. 이 두 확률분포 사이의 쿨백-라이블러 발산을 계산하고, 값이 크다는 게 무슨 의미인지 쉬운 비유로 설명해줘."