자기증류

자기증류란 이미 다 배운 모델이 자기가 만든 결과물을 다시 교재로 삼아 더 빠른 버전의 자기 자신을 새로 훈련시키는 방법이다. 흔히 큰 모델이 작은 모델을 가르치는 걸 증류라고 부르는데, 자기증류는 스승과 제자가 같은 모델이라는 점이 다르다. 마치 숙련된 요리사가 자기가 완성한 요리를 보고, 그 맛을 최대한 유지하면서도 훨씬 짧은 시간에 만드는 간편 조리법을 스스로 개발해내는 것과 비슷하다.

이 방법을 쓰면 사람이 직접 정답 데이터를 새로 만들어주거나 별도의 더 큰 스승 모델을 준비할 필요가 없다. 원본 모델 하나만 있으면 그 모델이 낸 답을 학습 재료로 재활용해, 결과물의 품질은 비슷하게 유지하면서 생성 속도만 크게 끌어올린 파생 모델을 만들 수 있다.

특히 한 번에 여러 부분을 동시에 다듬어가며 결과를 완성하는 방식의 모델에서 자기증류가 자주 쓰인다. 처음엔 여러 단계를 거쳐야 완성되던 생성 과정을, 자기증류를 거치면 훨씬 적은 단계로 압축할 수 있기 때문이다.

애플 머신러닝 리서치 논문 기사는 "17억 파라미터 규모의 베이스 모델을 2.1조 토큰으로 학습한 뒤, 이를 다시 자기증류 — 모델이 자기 자신의 출력을 스승 삼아 더 빠른 버전을 학습하는 방식 — 해 Categorical Flow Map(CFM)이라는 압축 모델을 만들었다"고 전했다. 흔히 오해하기 쉬운 점은 자기증류가 곧 '모델을 더 작게 줄이는 것'이라는 생각이다. 이 사례에서는 모델의 파라미터 수를 줄인 게 아니라, 결과물을 완성하는 데 필요한 추론 단계 수(최소 4단계)를 줄이는 데 자기증류가 쓰였다.