컨텍스트 윈도우

컨텍스트 윈도우는 AI가 한 번의 대화에서 「기억하며 읽을 수 있는」 최대 분량입니다. 책상 크기에 비유하면 정확합니다 — 책상이 크면 책 여러 권을 펼쳐 놓고 비교하며 일할 수 있고, 작으면 한 장 볼 때마다 앞 장을 치워야 합니다.

단위는 토큰입니다. 「컨텍스트 100만 토큰」이라는 발표는 「책 여러 권 분량을 통째로 넣고 질문할 수 있다」는 뜻입니다. 긴 계약서, 두꺼운 보고서, 소설 전체를 넣고 「요약해 줘」 「모순되는 부분 찾아 줘」가 가능해지는 거죠.

챗봇이 긴 대화 끝에 앞부분을 「까먹는」 것도 이 창의 크기 때문입니다. 창을 넘어간 내용은 밀려나서 AI에게는 없는 것과 같습니다. 그래서 새 모델 발표 때마다 「컨텍스트가 몇 배로 늘었다」가 자랑거리로 나옵니다.

「컨텍스트 윈도우를 200만 토큰으로 확장했다」 — 한 번에 읽힐 수 있는 자료의 양이 그만큼 늘었다는 뜻으로, 장문 문서 분석·코드베이스 전체 이해 같은 용도가 함께 언급됩니다.

1. 갖고 있는 긴 문서(PDF·워드)를 하나 골라 챗GPT나 클로드 채팅창에 첨부합니다.
2. 「이 문서를 5줄로 요약하고, 숫자가 나오는 부분만 따로 정리해 줘」라고 입력합니다.
3. 문서 전체를 읽고 답하는 게 바로 컨텍스트 윈도우의 힘입니다. 아주 긴 문서에서 앞부분 질문을 다시 해 보면 한계도 체감할 수 있습니다.