Supervised Fine-Tuning

지도 미세조정은 이미 훈련이 끝난 모델에게 질문과 모범 답안이 짝지어진 예시들을 보여주며, 원하는 방식으로 대답하도록 다시 가르치는 학습 단계다.

갓 졸업한 신입사원을 떠올리면 이해가 쉽다. 신입사원은 이미 폭넓은 지식과 언어 능력을 갖췄지만, 회사가 원하는 보고서 형식이나 손님 응대 방식은 따로 배워야 한다. 회사가 모범 답안이 담긴 업무 매뉴얼을 쥐여주고 그대로 따라 하도록 훈련시키듯, 지도 미세조정은 정답이 달린 문제집을 모델에게 반복해서 보여주며 특정 말투나 형식, 특정 분야 지식에 맞춰 답하는 습관을 들인다.

최근에는 이 작업의 문턱이 크게 낮아졌다. 한때는 대형 모델을 다시 훈련시키려면 값비싼 서버급 장비가 필요했지만, 지금은 모델의 일부분만 골라 저비용으로 다시 학습시키는 절약형 방법이 퍼지면서 게이밍용 그래픽카드 한 장으로도 270억 개 단위 규모의 모델을 훈련할 수 있게 됐다. 그 덕분에 특정 언어나 분야에 맞춘 맞춤형 모델을 개인이나 소규모 팀이 직접 만드는 사례가 늘고 있다.

기사에서는 흔히 SFT나 지도학습(SFT)이라는 줄임말로 등장한다. 큐원3.8-27B 훈련 안내에서는 '텍스트 데이터만으로 지도학습(SFT)을 하려면 큐원 채팅 템플릿으로 렌더링된 text 컬럼을 가진 데이터셋을 준비하면 된다'고 설명했고, 프랑스어 특화 모델 Luth-2 기사에서는 수학·지식·코드·도구 호출·다중 턴 대화 등을 아우르는 30억 토큰 규모의 지도학습(SFT) 데이터를 새로 구성했다고 밝혔다. 흔히 헷갈리는 점은, 지도 미세조정이 모델을 처음부터 만드는 과정이 아니라 이미 기본 능력을 갖춘 모델을 다듬는 후속 단계라는 점이다.

1. 질문과 답변이 짝지어진 공개 데이터셋을 하나 찾는다.
2. 무료로 쓸 수 있는 훈련용 노트북 환경을 열고, 다시 훈련시키고 싶은 오픈소스 모델을 고른다.
3. 데이터셋을 모델이 요구하는 대화 형식에 맞춰 정리해 넣는다.
4. 지도 미세조정을 실행해 모델이 새 예시들을 따라 답하도록 학습시킨다.
5. 학습이 끝난 모델을 저장하고 직접 질문을 던져 답변 방식이 어떻게 바뀌었는지 확인한다.