프롬프트 캐시

프롬프트 캐시는 AI 모델이 이미 한 번 계산한 질문의 앞부분을 다시 계산하지 않고, 저장해둔 결과를 그대로 재사용하는 기술이다. 식당 주방에서 매번 육수를 처음부터 끓이는 대신, 미리 끓여둔 육수를 냄비에 부어 요리 시간을 줄이는 것과 비슷하다.

AI는 질문을 처음부터 끝까지 순서대로 읽으며 답을 만든다. 대화가 길어져도 앞부분 내용은 그대로인 채 뒷부분만 조금씩 바뀌는 경우가 흔하다. 이럴 때마다 변하지 않은 앞부분까지 매번 새로 읽고 계산하면 시간과 비용이 낭비된다. 프롬프트 캐시는 이 변하지 않는 앞부분의 계산 결과를 저장해뒀다가, 같은 앞부분이 다시 등장하면 그 계산을 건너뛰고 바로 이어서 처리한다.

에이전트가 작업 중 특정 시점으로 되돌아가 다시 시작하는 경우에도 이 기술이 큰 도움이 된다. 되돌아간 지점까지의 내용이 똑같기 때문에 그 부분은 저장된 결과를 그대로 쓰고, 그 이후 달라진 부분만 새로 계산하면 되기 때문이다.

기사는 에이전트 실행을 되감는 도구 Shepherd에 대해 "분기 지점까지의 프롬프트 접두어가 변하지 않기 때문에 재생 시 95% 이상의 프롬프트 캐시를 재사용한다"고 전한다. 여기서 프롬프트 캐시를 재사용한다는 건 실행을 특정 시점으로 되돌려도 그 지점까지의 계산을 새로 하지 않아도 된다는 뜻이지, 대화 내용 자체를 저장해 기억한다는 의미가 아니다.

긴 지시문(예: 역할 설명이나 규칙)을 시스템 메시지로 고정해두고 같은 대화창에서 서로 다른 질문을 연달아 여러 번 보내보라. 두 번째 질문부터 첫 응답이 나오기까지 걸리는 시간이 짧아지는 걸 체감할 수 있다면, 앞부분이 캐시되어 재사용되고 있다는 신호다.