캐시 프롬프트

캐시 프롬프트는 AI에게 똑같은 내용을 다시 보낼 때, 매번 처음부터 다시 계산하지 않고 이전에 이미 처리해 둔 결과를 꺼내 쓰는 방식이다. 카페에 비유하면, 손님이 올 때마다 원두를 갈고 물을 끓이는 대신 이미 내려 둔 커피를 데워서 내주는 것과 비슷하다. 맛(결과)은 거의 같지만 만드는 데 드는 수고와 비용은 훨씬 줄어든다.

AI 에이전트는 작업 하나를 끝낼 때까지 같은 지시문이나 배경 정보를 계속 다시 불러오는 경우가 많다. 이럴 때 겹치는 부분을 매번 새로 계산하면 시간과 비용이 크게 늘어나는데, 캐시 프롬프트를 쓰면 겹치는 부분은 저장된 결과를 재사용하고 새로운 부분만 계산한다. 그래서 같은 작업량이라도 처음 하는 계산보다 단가가 훨씬 낮게 매겨진다.

결과적으로 사용량이 몇 배로 늘어나도 비용은 그만큼 늘지 않는 경우가 많다. 반복 작업이 많은 AI 에이전트일수록 캐시 프롬프트의 비중이 커지고, 그만큼 실제 청구 비용은 사용량 증가 폭보다 완만하게 늘어난다.

기사는 오픈라우터에서 전체 에이전트 토큰의 약 70%가 캐시 프롬프트에서 나온다고 짚어요. 그래서 에이전트의 토큰 소비량이 14배 늘었다고 해서 비용도 14배 늘어나는 건 아니라는 거예요 — 오해하기 쉬운 지점인데, 사용량 증가와 비용 증가는 캐시 덕분에 서로 다른 속도로 움직여요.

AI 챗봇이나 API로 같은 지시문이나 긴 배경 설명을 여러 번 반복해서 보내는 작업을 해보면 체감할 수 있다. 예를 들어 똑같은 긴 문서를 배경으로 깔아두고 질문만 바꿔가며 여러 번 물어보면, 완전히 새로운 내용을 매번 통째로 바꿔 묻는 경우보다 응답이 더 빠르거나 비용이 덜 나가는 걸 확인할 수 있다. 겹치는 부분이 많을수록 캐시가 더 잘 작동한다.