양자화 인지 증류

양자화 인지 증류란, 크고 정밀한 원본 AI 모델이 갖고 있던 판단 습관을 가볍게 줄인 모델에게 그대로 옮겨 담는 훈련 방법이다.

베테랑 요리사와 신입 요리사에 비유하면 이해가 쉽다. 신입에게 정답 레시피를 토씨 하나 안 틀리고 외우게 하는 대신, 베테랑이 요리할 때 재료를 얼마나 넣고 간을 어떻게 맞추는지 그 전체적인 취향과 판단 방식을 곁에서 보고 따라 하게 만드는 식이다. 여기서 원본 모델은 얼려둔 채로 두고, 그 모델이 내놓는 답의 확률적인 경향만 학생 모델이 흉내 내며 배운다.

이 방식의 장점은 비용이다. 원본 모델을 저정밀도 상태로 다시 처음부터 재학습시키는 기존 방법과 달리, 원본은 손대지 않고 결과물만 참고하기 때문에 학습 과정이 훨씬 가볍고 안정적이다. 다만 모델의 크기와 구조 자체가 크게 달라지면, 정확히 비교할 수 있는 같은 크기의 원본이 없어 학생 모델의 성능에 한계가 생길 수 있다는 약점도 있다.

멀티버스 컴퓨팅 관련 기사는 이렇게 씁니다: '다른 방법인 양자화 인지 증류(QAD)는 이 반복 학습을 건너뛰어요. 대신 얼려둔 전체정밀도 교사 모델의 출력 분포를 KL-divergence 손실로 학생 모델에 옮겨요.' 여기서 오해하기 쉬운 점은 QAD가 원본 모델을 다시 훈련시키는 방식이라고 생각하는 것인데, 실제로는 원본은 건드리지 않고 그 결과물만 보고 학생 모델을 학습시키는 방법이다.