학습과 추론

AI의 일생은 두 국면으로 나뉩니다. 배우는 시간(학습, training)과 써먹는 시간(추론, inference)입니다.

학습은 수험 생활과 같습니다. 방대한 데이터를 몇 달씩 읽으며 파라미터를 조정하는 과정으로, GPU 수만 장과 천문학적 전기료가 듭니다. 「○○사가 새 모델 훈련에 수천억 원을 썼다」는 기사가 이 국면 이야기입니다. 기초 체력을 만드는 「사전 학습(pre-training)」과, 그 위에 예절과 일머리를 얹는 후속 훈련으로 다시 나뉩니다.

추론은 졸업 후 출근입니다. 다 배운 모델이 질문을 받고 답을 내는 매 순간이 추론이고, 우리가 챗봇에 말을 걸 때마다 어딘가의 데이터센터에서 추론 비용이 발생합니다. 사용자가 많아질수록 학습보다 추론에 돈이 더 들어서, AI 회사들의 요금제·데이터센터 투자 뉴스는 대부분 추론 비용 이야기입니다.

「추론 비용을 90% 낮춘 신형 칩」 — 모델을 만드는(학습) 비용이 아니라 서비스하는(추론) 비용을 낮췄다는 뜻입니다. 두 국면을 구분하면 반도체 기사가 훨씬 쉬워집니다.