샘플링 방식

샘플링 방식은 AI가 다음에 나올 말이나 음을 고르는 방법이다. 식당에서 오늘의 메뉴판을 받았다고 생각해보자. 셰프는 손님에게 '이 요리가 60% 인기, 이 요리가 25% 인기'라고 확률을 알려줄 수 있는데, 손님이 항상 60% 짜리만 고르면 매번 똑같은 식사가 되고, 가끔은 25%짜리나 그보다 낮은 메뉴도 시도하면 매번 다른 식사가 된다. AI 모델도 다음에 올 단어나 음의 확률을 계산해두고, 이 확률표에서 하나를 뽑는 방식을 정해야 하는데 그 규칙을 샘플링 방식이라 부른다.

가장 단순한 규칙은 확률이 가장 높은 것만 무조건 고르는 것이다. 이렇게 하면 같은 질문에 항상 같은 답이 나오지만, 밋밋하고 반복적인 결과가 나오기 쉽다. 반대로 확률이 낮은 후보도 종종 뽑히도록 무작위성을 섞으면 매번 조금씩 다른, 더 다양하고 자연스러운 결과가 나온다. 아이폰에서 몇 음만 치면 나머지를 이어 치는 피아노 자동완성 앱처럼, 모델이 다음 음 하나를 예측할 때도 이 확률표에서 어떻게 음을 골라내느냐가 결과물의 자연스러움을 크게 좌우한다.

같은 모델이라도 샘플링 방식을 어떻게 정하느냐에 따라 결과가 딱딱해 보이거나 창의적으로 보일 수 있다. 그래서 개발자들은 정답이 하나로 정해지지 않는 문제일수록, 확률이 가장 높은 것만 고르는 방식보다 약간의 무작위성을 섞은 샘플링을 선호하는 경우가 많다.

챗봇에게 똑같은 질문을 여러 번 새로 물어보라. 답이 매번 조금씩 다르게 나온다면 그 모델이 확률이 가장 높은 답만 고르지 않고 무작위성을 섞어 다음 단어를 고르고 있다는 뜻이다. 반대로 매번 거의 똑같은 답이 나온다면 가장 확률 높은 후보만 고르는 방식에 가깝다.