캐시-투-캐시

캐시-투-캐시는 AI 모델 두 개를 이을 때, 한쪽이 글을 써서 다른 쪽에게 읽히는 대신 내부 계산값을 직접 넘겨주는 방식이에요. 지금까지 흔한 방법은 큰 모델이 답을 문장으로 뱉으면 작은 모델이 그 문장을 처음부터 다시 읽고 이해하는 식이었어요. 편지를 써서 옆자리 동료에게 건네는 것과 비슷해요. 문제는 편지를 쓰는 동안 시간이 걸리고, 글로 옮기는 순간 미묘한 뉘앙스가 눌려서 사라진다는 점이에요.

캐시-투-캐시는 이 편지 쓰기 과정을 없애요. 모델이 문장을 만들기 전 머릿속에 갖고 있는 계산 중간값을 다른 모델에게 그대로 흘려보내는 거예요. 받는 쪽은 눌린 문장 한 줄이 아니라 원래의 풍부한 판단 자체를 넘겨받으니 다시 짐작할 필요가 없어요. 연구에서는 이 방식이 문장으로 잇는 방식보다 정확도가 높고 속도도 훨씬 빨랐다고 해요.

비슷한 시기에 등장한 모스틱이라는 회사는 한 걸음 더 나아가, 오가는 중간값이 아니라 모델이 학습을 마친 뒤 갖고 있는 고정된 숫자(가중치) 사이의 환산표를 찾아 두 모델을 잇는 방법을 시도했어요. 접근은 다르지만 목표는 같아요. 모델끼리 말로 설명하지 않고도 서로의 판단을 나눠 갖게 하는 것이에요.

기사에서는 논문 제목이기도 한 이 용어가 「텍스트로 모델을 잇는 방식보다 정확도가 3.1~5.4% 높고 속도는 평균 2.5배 빨랐다」는 실험 결과와 함께 등장해요. 오해하기 쉬운 점은, 이게 모델 하나를 더 똑똑하게 만드는 기술이 아니라 이미 있는 모델 여러 개를 더 효율적으로 잇는 연결 방법이라는 거예요.