교차엔트로피 손실

교차엔트로피 손실은 AI 모델이 학습 중에 낸 답이 정답과 얼마나 어긋났는지를 숫자로 매기는 채점 방식이다. 객관식 시험에서 학생이 정답 하나를 확신 있게 고르면 만점에 가깝고, 오답에 확신을 크게 줄수록 감점이 커지는 채점표를 떠올리면 된다. 모델은 다음에 올 단어나 음 하나를 고를 때 여러 후보에 확률을 나눠 부여하는데, 실제 정답에 낮은 확률을 줬다면 벌점을 크게, 높은 확률을 줬다면 벌점을 작게 매겨서 그 점수를 줄이는 방향으로 모델을 조금씩 고쳐나간다.

다만 이 채점은 '다음 한 걸음'만 보고 매기는 근시안적 기준이라는 한계가 있다. 매 순간 정답 하나를 잘 맞히는 습관은 들일 수 있지만, 여러 걸음이 모여 완성된 결과물 전체가 자연스럽고 그럴듯한지는 별도로 따져야 한다. 그래서 기본 문법을 가르치는 초기 학습에는 널리 쓰이지만, 완성본의 전반적인 품질을 다듬는 단계에서는 다른 방식을 덧붙이는 경우가 많다.

기사는 피아노 자동완성 모델을 두고 "held-out 곡에서 다음 음 하나만 '정답'으로 놓고 학습하는 교차엔트로피 방식은 음악의 기본 문법은 가르치지만, 실제로 자연스럽게 들리는 완성곡을 만드는 데는 한계가 있었다"고 설명한다. 오해하기 쉬운 지점은, 교차엔트로피 점수가 낮다고 해서 완성된 결과물이 무조건 듣기 좋다는 뜻은 아니라는 것이다. 이 기사에서도 개발자는 교차엔트로피 학습 이후 별도로 두 결과물을 비교해 더 나은 쪽을 골라주는 후속 학습을 추가로 진행했다.

챗봇에게 이렇게 물어보면 개념이 잡힌다: "교차엔트로피 손실을 객관식 시험 채점에 비유해서 초등학생도 이해할 수 있게 설명해줘. 모델이 정답에 낮은 확률을 줬을 때와 높은 확률을 줬을 때 점수가 어떻게 달라지는지도 알려줘."