토크나이저

글을 모델이 먹을 수 있는 토큰 조각으로 자르는 부품입니다. 어디서 어떻게 자를지는 모델마다 다르게 설계됩니다.

중요한 건 언어마다 잘리는 효율이 다르다는 점입니다 — 같은 내용도 영어보다 한국어가 토큰 수가 더 나오는 경우가 많아, 「같은 말인데 한국어 사용자가 요금을 더 낸다」는 논쟁의 뿌리가 됩니다. 한국어 특화 모델·토크나이저 개선 뉴스는 이 비효율을 줄였다는 이야기입니다.