그리디 디코딩

그리디 디코딩은 AI 모델이 문장을 만들 때 매 순간 가장 확률이 높은 단어 하나만 골라 이어 붙이는 방식이다. 갈림길이 나올 때마다 가장 유력해 보이는 길만 고르고 뒤돌아보지 않는 여행자를 떠올리면 된다. 다른 길이 나중에는 더 나은 결과로 이어질 수도 있지만, 그리디 디코딩은 그런 가능성을 따지지 않고 오직 눈앞의 최선만 택한다.

이 방식의 장점은 결과가 항상 똑같다는 것이다. 같은 질문을 몇 번을 넣어도 매번 확률 1위 단어만 고르기 때문에 완전히 동일한 답이 나온다. 그래서 두 모델이 진짜 같은 답을 내는지, 혹은 새로운 기법이 답의 내용을 바꾸지 않고 속도만 올렸는지 확인할 때 기준선으로 자주 쓰인다.

반대로 실제 서비스에서 챗봇이 매번 다른 표현으로 답하는 건 그리디 디코딩이 아니라 확률에 따라 무작위성을 섞는 다른 방식을 쓰기 때문이다. 그리디 디코딩은 다양성보다는 재현성과 검증이 필요한 상황에서 의미를 갖는다.

기사는 "온도 0의 그리디 디코딩에서는 나오는 문장이 원본 모델 단독 실행과 문자 그대로 동일하다"고 설명한다. 초안 모델을 붙여 속도를 3배 가까이 올렸다는 주장을 검증하려면, 답변의 내용이 바뀌지 않았다는 증거가 필요한데 그리디 디코딩이 그 기준이 된 것이다. 흔한 오해는 그리디 디코딩이 항상 가장 좋은 답을 낸다는 것인데, 사실은 매 순간의 최선만 고를 뿐 문장 전체로 보면 더 나은 답을 놓칠 수도 있다.

챗봇에 온도(temperature) 설정을 0으로 낮출 수 있다면 같은 프롬프트를 두세 번 반복해 넣어보라. 그리디 디코딩에 가까운 설정이라면 답이 토씨 하나 다르지 않게 똑같이 나오는지 확인할 수 있다.