AI 용어사전 ㅈ기사에 자주 나오는 기술 용어

증류

Distillation

큰 모델의 실력을 작은 모델에 옮겨 담는 기법. 「선생 모델 → 학생 모델」.

쉽게 말하면

크고 비싼 「선생 모델」의 답변을 대량으로 뽑아, 작고 싼 「학생 모델」에게 흉내 내도록 가르치는 기법입니다. 지식을 증류해 옮겨 담는다는 뜻에서 이름이 왔습니다.

폰에서 도는 소형 모델 상당수가 이렇게 만들어집니다. 산업 갈등의 단어이기도 합니다 — 남의 프론티어 모델 답변을 몰래 대량 수집해 학생 모델을 길렀다는 의혹 공방이 회사들 사이에 오갑니다. 「증류 의혹」 기사는 곧 「베껴 배웠다」는 주장입니다.