토큰

AI는 글을 글자 단위가 아니라 「토큰」 단위로 읽고 씁니다. 토큰은 자주 쓰이는 말 조각입니다 — 영어 단어 하나가 12토큰, 한국어는 대체로 한 글자가 12토큰쯤 됩니다. 대략 「토큰 1개 ≒ 짧은 음절 몇 개」로 감 잡으면 됩니다.

이 단위가 중요한 이유는 돈과 한계가 전부 토큰으로 계산되기 때문입니다. AI 회사의 요금표는 「100만 토큰당 몇 달러」로 적혀 있고, 무료 사용량 제한도, 한 번에 읽을 수 있는 분량(컨텍스트 윈도우)도 전부 토큰이 단위입니다.

수도 요금이 「리터」로 계산되듯 AI 사용료는 「토큰」으로 계산된다 — 이렇게 기억하면 요금 관련 기사가 바로 읽힙니다.

「새 모델의 API 가격은 입력 100만 토큰당 3달러」 — A4 수백 장 분량을 처리하는 데 몇천 원쯤 든다는 이야기입니다. 입력(내가 넣는 글)과 출력(AI가 쓰는 글)의 단가가 다른 것도 특징입니다.

1. 검색창에 「OpenAI tokenizer」를 검색해 토크나이저 체험 페이지를 엽니다.
2. 영어 문장 하나와 같은 뜻의 한국어 문장을 각각 넣고 토큰 수를 비교해 보세요.
3. 대부분 한국어가 더 많은 토큰으로 잘립니다 — 같은 내용인데 요금 단위가 더 나온다는 뜻이고, 「한국어 AI가 더 비싸다」 논쟁이 바로 여기서 나옵니다.