소프트맥스 정규화

소프트맥스 정규화는 여러 개의 점수를 놓고, 그중 무엇이 가장 그럴듯한지 비율로 바꿔주는 계산 방법이다.

예를 들어 시험 답안 여러 개에 점수를 매겼다고 하자. 점수 그대로는 비교하기 어렵지만, 전체를 100%로 놓고 각 답안이 몇 퍼센트를 차지하는지로 바꾸면 한눈에 비교가 된다. 소프트맥스 정규화는 이런 식으로 숫자들을 늘리거나 줄여서, 큰 점수는 더 도드라지게 하고 작은 점수는 더 작게 눌러준 다음 전부 더하면 항상 100%가 되도록 만든다.

AI 모델이 여러 선택지 중 하나를 골라야 할 때 이 방식을 자주 쓴다. 이를테면 어떤 문장이 위험한지 판단하는 모델이 예와 아니오 두 후보에 각각 점수를 매긴 뒤 소프트맥스 정규화를 거치면, 예일 확률 83퍼센트, 아니오일 확률 17퍼센트처럼 항상 합이 100퍼센트인 두 숫자가 나온다. 모델은 이 확률을 기준값과 비교해 최종 판정을 내린다.

기사에서는 미스트랄AI의 안전 분류기 쉴드스트랄이 예/아니오 두 토큰에 소프트맥스 정규화를 적용해 점수를 낸다고 설명한다. 오해하기 쉬운 점은, 이 과정이 판단을 더 정확하게 만드는 것이 아니라 이미 계산된 점수를 확률처럼 보기 좋게 정리하는 마지막 단계일 뿐이라는 것이다.