KV 캐시

KV 캐시는 AI가 글을 이어 쓸 때, 이미 읽은 부분을 처음부터 다시 훑지 않도록 미리 계산해 둔 내용을 잠깐 저장해 두는 기억 공간이다.

긴 책을 소리 내어 읽어주는 사람을 떠올려 보자. 매 문장을 읽을 때마다 앞의 모든 페이지를 처음부터 다시 읽는다면 뒤로 갈수록 한없이 느려질 것이다. 대신 지금까지 읽은 내용의 요약 메모를 옆에 쌓아두고 필요할 때 슬쩍 보면 훨씬 빠르다. AI가 대답을 한 글자씩 만들어낼 때도 마찬가지로, 앞서 나온 말들에 대한 계산 결과를 메모처럼 쌓아두고 재사용한다. 이 메모 더미가 바로 KV 캐시다.

문제는 대화나 문서가 길어질수록 이 메모 더미도 함께 두꺼워진다는 점이다. 메모를 쌓아둘 책상, 즉 그래픽카드의 메모리 공간이 부족하면 아무리 성능 좋은 AI라도 긴 글을 다루기 버거워진다. 그래서 모델을 가볍게 압축해 이 메모 공간을 넉넉히 남겨두려는 시도가 자주 등장한다.

한 기사는 모델을 압축한 이유를 두고 "24GB나 32GB급 GPU에서도 KV 캐시, 인식 인코더, 추측 디코딩 드래프터를 동시에 실행할 여유가 생겼다"고 설명한다. 다른 기사는 "실제로는 여기에 KV 캐시가 더 붙는다. 컨텍스트를 길게 쓰면 캐시가 가중치만큼 커지는 경우도 있다"고 지적한다. 흔한 오해는 모델 파일 용량만 확보하면 실행에 충분하다고 생각하는 것인데, 실제로는 대화가 길어질수록 이 캐시가 별도로 메모리를 잡아먹는다는 점을 놓치기 쉽다.

챗봇에 짧은 질문 하나를 던진 뒤 답변 속도를 확인해 보고, 이어서 아주 긴 문서를 붙여넣고 그 위에서 다시 질문해 응답이 시작되기까지 걸리는 시간을 비교해 본다. 대화(또는 붙여넣은 문서)가 길수록 AI가 참고해야 할 메모가 늘어나 첫 응답까지 시간이 더 걸리는 것을 체감할 수 있다.