캐시 히트

캐시 히트란 AI에 보낸 질문 중 이전에 이미 처리했던 부분이 다시 들어왔을 때, 처음부터 다시 계산하지 않고 저장해둔 결과를 그대로 꺼내 쓰는 것을 말해요. 반대로 처음 보는 새로운 내용이 들어오면 캐시 미스라고 부르고, 이때는 전체를 새로 계산해야 해요.

식당에 비유하면 이해가 쉬워요. 같은 재료로 여러 번 요리할 때 밑준비를 미리 해두면 다음 손님 주문이 훨씬 빨리 나오죠. AI 서비스에 매번 똑같이 붙는 지시문(시스템 프롬프트)이나, 같은 문서를 두고 여러 질문을 이어서 던지는 경우가 딱 이런 상황이에요. 앞부분이 지난번과 똑같으니 그 부분은 다시 계산하지 않고 재사용하는 거예요.

이 재사용 덕분에 AI 회사들은 캐시 히트가 난 부분의 요금을 캐시 미스보다 훨씬 싸게 매겨요. 그래서 사용자 입장에서는 같은 대화나 문서를 반복해서 참조할수록 전체 비용이 줄어드는 구조가 만들어져요.

기사에서는 "캐시 히트 입력 가격은 100만 토큰당 0.003625달러로, 캐시 미스 가격의 100분의 1 수준까지 떨어진다"고 나와요. 여기서 헷갈리기 쉬운 점 하나: 캐시 히트는 모델이 더 똑똑해지거나 답의 품질이 달라지는 것과는 무관해요. 그저 같은 입력을 다시 처리할 때 드는 계산 비용을 줄여주는 가격 정책이자 기술일 뿐이에요.

1. API를 쓰는 서비스에서 똑같은 시스템 프롬프트나 긴 문서를 포함한 요청을 두 번 연속으로 보내보세요.
2. 응답과 함께 오는 사용량 정보에 캐시 히트 토큰 수가 따로 표시되는지 확인해보세요.
3. 첫 요청과 두 번째 요청의 비용이나 응답 속도 차이를 비교하면 캐시 히트 효과를 체감할 수 있어요.