분류기

분류기는 들어온 것을 몇 개의 상자 중 하나에 넣어주는 자동 분류원이다. 우체국 직원이 편지 봉투를 보고 '이건 국내 우편함', '이건 국제 우편함'으로 척척 나누듯이, 분류기는 글이나 명령어를 보고 '이건 사람이 쓴 글', '이건 AI가 쓴 글' 또는 '이건 안전한 명령어', '이건 위험한 명령어' 식으로 판정을 내린다.

중요한 건 분류기가 정답을 확실히 안다기보다 확률로 추측한다는 점이다. 수많은 예시를 보고 패턴을 익힌 뒤, 새로운 입력을 봤을 때 '이 패턴이랑 비슷하니 이 상자에 넣자'고 결정하는 방식이라 가끔 오판도 한다. 그래서 분류기 하나만 믿기보다는 사람의 확인이나 다른 안전장치와 함께 쓰이는 경우가 많다.

요즘은 이 분류기가 두 가지 상반된 자리에서 쓰인다. 하나는 AI가 대충 뽑아낸 글을 걸러내는 문지기 역할이고, 다른 하나는 AI 프로그램이 스스로 위험한 명령을 실행하기 전에 브레이크를 거는 역할이다. 둘 다 '이건 통과, 이건 정지'를 판단한다는 점에서 같은 원리다.

기사에서는 두 가지 상반된 쓰임으로 등장해요. 링크드인은 게시물이 AI로 작성됐는지 걸러내는 분류기를 '새롭고 개선된' 버전으로 바꿨다고 밝혔고, 클로드 코드는 사람이 매번 승인하던 절차를 분류기로 대체해 위험한 명령어를 자동으로 걸러내는 데 썼어요. 오해하기 쉬운 점은, 분류기가 사람처럼 완벽하게 판단하는 게 아니라 패턴을 보고 확률적으로 추측한다는 것. 클로드 코드 사례에서 위험 명령어 탐지율이 89%로 나온 것도, 나머지 11%는 놓칠 수 있다는 뜻이에요.

챗봇에게 분류기 역할을 직접 시켜볼 수 있어요.

1. 아무 대화형 AI에 다음처럼 요청해요: '아래 문장 다섯 개를 각각 긍정/부정/중립 중 하나로 분류해줘: (문장들을 나열)'
2. AI가 각 문장에 붙인 라벨을 확인해요.
3. 애매한 문장 하나를 골라 '왜 이 라벨을 붙였어?'라고 물어봐요. 분류기가 어떤 단서를 근거로 상자를 골랐는지 짐작해볼 수 있어요.
4. 같은 문장을 표현만 살짝 바꿔서 다시 물어보면, 분류 결과가 달라지기도 해요. 이게 분류기가 확률로 판단한다는 걸 체감하는 방법이에요.