다음 토큰 예측

다음 토큰 예측은 스마트폰 자판의 다음 단어 추천 기능을 훨씬 정교하게 키운 것이라고 보면 된다. 자판이 지금까지 친 글자를 보고 다음에 올 단어 후보 몇 개를 보여주듯, 언어모델도 지금까지 나온 글을 보고 다음에 올 조각 하나를 확률로 계산해 고른다. 그 조각을 문장에 더하고, 다시 그 문장 전체를 보고 또 다음 조각을 고르는 과정을 계속 반복하면 결국 긴 답변이 완성된다.

재미있는 점은 이 단순한 반복 작업만으로 요약, 번역, 코드 작성처럼 복잡해 보이는 일까지 해낸다는 것이다. 다음에 올 조각을 잘 맞히려면 문법은 물론 맥락과 상식까지 어느 정도 파악해야 하기 때문에, 방대한 글을 보며 이 예측 훈련을 거듭한 모델은 자연스럽게 폭넓은 능력을 갖추게 된다. 반대로 이 방식의 한계도 여기서 나온다. 모델은 사실을 검색해 확인하는 게 아니라 그럴듯하게 이어질 조각을 고르는 것이라서, 확신에 찬 말투로 틀린 내용을 만들어내는 일이 생기기도 한다.

클로드 아카데미의 'AI Capabilities and Limitations' 강좌는 다음 토큰 예측을 지식, 작업 기억, 문맥 한계 등과 함께 언어모델이 잘하는 일과 못하는 일을 이해하는 핵심 개념으로 다룬다. 흔한 오해는 이를 단순한 자동완성 정도로 여기는 것인데, 실제로는 이 반복 예측 과정에서 추론이나 요약 같은 복잡한 능력이 함께 나타난다는 점이 강좌의 요지다.

챗봇 창에 다음과 같이 문장을 절반만 던져보자.

다음 문장을 자연스럽게 이어서 완성해줘: 오늘 아침 하늘을 보니

답을 받은 뒤, 왜 그 다음 말을 골랐는지 물어보면 모델이 앞 문맥에 맞춰 확률적으로 다음 조각을 이어간다는 점을 체감할 수 있다.