포스트 트레이닝
Post-training
사전 학습 뒤에 모델의 태도·능력을 다듬는 단계. 요즘 모델 성능 차이는 여기서 갈린다.
쉽게 말하면
AI 모델은 두 단계로 만들어집니다. 먼저 인터넷의 방대한 텍스트를 읽히는 사전 학습(pre-training)이 있고, 그 뒤에 모델의 태도와 능력을 다듬는 단계가 포스트 트레이닝(post-training)입니다.
비유하면 사전 학습은 백과사전을 읽고 세상 지식을 쌓는 과정이고, 포스트 트레이닝은 「손님에게 예의 바르게 답하라」 「위험한 건 거절해라」 「단계별로 생각해라」 같은 직무 교육입니다. 구체적으로는 RLHF(사람 피드백 기반 강화학습), 지시 미세조정, 안전성 훈련 등이 포스트 트레이닝에 해당합니다.
요즘 모델 간 성능 차이는 사전 학습보다 이 포스트 트레이닝에서 갈리는 경우가 많습니다. 같은 크기의 모델이라도 어떻게 다듬느냐에 따라 코딩 능력, 대화 품질, 안전성이 크게 달라지기 때문입니다. 뉴스에서 「포스트 트레이닝을 강화했다」고 나오면, 모델의 실전 쓸모를 끌어올렸다는 뜻입니다.
기사에서 이렇게 나와요
「사전 학습은 동일하지만 포스트 트레이닝으로 코딩 성능을 30% 높였다」 — 기초 체력은 같되 직무 훈련으로 차별화했다는 의미입니다.