Caveman, 원시인 말투로 클로드 코드 토큰 33% 줄인다

이번에 나온 'Caveman 2'와 새 로컬 프록시가 그 빈틈을 메운다. 에이전트가 모델 제공사에 요청을 보내기 전에 프록시가 내용을 먼저 압축하고, 필요하면 원문을 바이트 단위로 그대로 복원한다. 개발자 측이 공개한 고정된 54회 클로드 코드 벤치마크에서 이 프록시는 직접 호출 대비 제공사 보고 입력 토큰을 33.2% 줄이면서 18개 정답 검증 항목을 모두 통과했다.

텍스트를 그림으로 바꾸는 트릭

프록시의 핵심 아이디어 중 하나는 과금 방식의 틈을 이용하는 것이다. 텍스트는 토큰 단위로 값이 매겨지지만 이미지는 다른 방식으로 계산된다. 그래서 프록시는 압축된 JSON 도구 목록이나 긴 로그, 오래된 대화 기록처럼 촘촘한 텍스트 덩어리를 PNG 이미지로 렌더링해 대신 보낸다. 공개된 실측 사례로는 8,622자 텍스트가 1568×232 픽셀 PNG 한 장으로 바뀌면서 약 2,597 텍스트 토큰이 534 이미지 토큰으로 줄었다. 다만 이 방식은 촘촘하고 줄이 긴 콘텐츠에서만 이득이 있고, 짧은 줄로 이뤄진 코드에는 오히려 손해라 자동으로 걸러진다는 설명이 붙어 있다.

같은 원리를 스킬 자체에도 적용한 게 'caveman convert'다. 설치된 스킬 파일의 본문을 PNG 페이지로 바꿔 모델이 이미지로 읽게 하는데, Caveman 스킬 자신을 대상으로 측정한 결과는 1,069토큰에서 415토큰 추정치로 약 61% 줄었다.

브라우저 자동화와 MCP 도구

Caveman은 MCP(모델 컨텍스트 프로토콜) 서버로 다섯 개 도구를 노출한다 — caveman_compress, caveman_retrieve, caveman_stats, caveman_toon_encode, caveman_toon_decode. 크롬이 설치된 환경에서 동작하는 브라우저 자동화 기능은 200행짜리 운영 테이블을 조회하는 쿼리에서 121토큰만 쓴 반면, Playwright의 ARIA 기준 방식은 같은 작업에 15,704토큰을 썼다고 밝혔다. 다만 항목이 적은 체크아웃 폼 같은 단순 작업에서는 액션 UID와 복원용 핸들을 함께 반환하는 Caveman 쪽이 오히려 더 큰 경우도 있다고 스스로 인정했다.

"정직한 숫자" 65%의 함정

개발자는 65%라는 절감 수치를 과장 없이 설명하려 애쓴 흔적이 뚜렷하다. 스킬은 출력 토큰만 줄일 뿐 입력·추론 토큰은 그대로이고, 스킬 자체가 매 턴 1,000~1,500 토큰가량을 더 쓴다. 이미 짧게 답하도록 세팅된 워크플로에서는 순절감이 마이너스가 될 수도 있다고 밝혔다. "Caveman never makes your agent dumber to make it cheaper"(케이브맨은 에이전트를 싸게 만들려고 멍청하게 만들지 않는다)는 문구가 저장소 설명에 적혀 있다.

어떻게 써보나

Caveman은 클로드 코드, Codex, Gemini, Cursor, Windsurf, Cline, Copilot을 포함해 30여개 에이전트에서 동작한다고 안내한다. 사용 방식은 크게 두 갈래다.

1. 스킬만 쓰고 싶다면 설치 후 에이전트가 자동으로 활성화하지 않을 때 /caveman 명령을 입력한다. /caveman lite|full|ultra|wenyan-lite|wenyan-full|wenyan-ultra로 강도를 조절하고, /caveman off나 일반 모드로 끌 수 있다.
2. 입력 토큰까지 줄이려면 caveman <agent> 명령으로 에이전트를 로컬 프록시로 감싼다. 저장소 목록에 없는 프레임워크는 Vercel AI SDK·LangChain·LiteLLM·OpenAI Agents·CrewAI·PydanticAI처럼 baseURL만 프록시 주소로 바꿔 연결할 수 있다고 설명한다.

디스크에 쌓인 과거 에이전트 사용 기록을 분석하고 싶다면 caveman learn을 실행한다. 로컬에서 읽기 전용으로 동작하며 계정 없이도 쓸 수 있고, 토큰 낭비 지점을 순위로 매긴 'Cave Score' 리포트를 보여준다. 실제로 고친 항목은 caveman learn applied <sink_id>로 기록해 다음 실행에서 개선·불변·악화 여부를 알려준다. 텔레메트리는 기본으로 켜져 있으며 caveman telemetry off 또는 환경변수 DO_NOT_TRACK=1로 끌 수 있다.

오픈소스이지만 라이선스는 나뉘어 있다

스킬 본체, CLI, TS·Python SDK는 MIT 라이선스로 자유롭게 쓸 수 있다. 반면 압축 엔진, 프록시, 캐시 엔진, 브라우저 자동화, MCP 서버처럼 실제 연산을 담당하는 핵심 런타임은 BSL-1.1로 배포된다. 자사 트래픽에 한해서는 상용 서비스 포함 무료로 쓸 수 있지만, 제3자에게 호스팅·관리형으로 제공하려면 상업 라이선스가 필요하다. 이 BSL 코드는 2030년 6월 21일이나 각 버전 최초 출시 4년 후 중 이른 시점에 아파치 2.0으로 자동 전환된다는 조항이 붙어 있다.

벤치마크 한눈에 보기

구간	절감폭	비고
프록시 입력 토큰 (54회 벤치마크)	33.2%	18개 정답 체크 전부 통과
스킬 출력 토큰 (원조 Caveman)	최대 65%	일부는 '간결히 답하라' 지시로도 확보 가능
브라우저 200행 테이블 조회	129.8배	Playwright ARIA 기준 대비
스킬 본문 이미지 변환	약 61%	1,069→415토큰 추정

에디터의 시선

이 프로젝트가 재미있는 건 토큰 절감 자체보다 절감 방식을 숨기지 않는 태도다. 대부분의 AI 도구는 "몇 배 빨라졌다", "비용을 몇 % 아꼈다"는 수치를 헤드라인에 걸고 조건은 각주로 숨긴다. Caveman은 반대로 65%라는 눈에 띄는 숫자를 앞세우면서도, 그 숫자의 절반쯤은 그냥 '간결하게 답하라'는 프롬프트 한 줄로도 나올 수 있다는 걸 저장소 설명에서 스스로 밝혀 놓았다. 이런 정직함은 드물다.

실무 관점에서 보면 이 도구가 겨냥하는 지점은 명확하다. 에이전트형 코딩 도구를 하루 종일 돌리는 팀일수록 도구 스키마·파일 전문·로그가 매 턴 반복 전송되면서 쌓이는 입력 토큰 비용이 체감보다 크다. 이미 짧게 답하도록 튜닝된 세팅에서는 오히려 스킬 자체의 오버헤드 때문에 손해를 볼 수 있다는 경고도 진지하게 받아들여야 한다. 텍스트를 이미지로 바꿔 과금 체계의 빈틈을 파고드는 픽셀 압축 방식은, 모델 제공사들이 텍스트와 이미지 토큰 가격 정책을 다시 들여다보게 만들 소지가 있다. 앞으로 몇 주 안에 앤스로픽이나 오픈AI 쪽에서 이런 우회 압축에 대한 공식 입장이 나올지, 아니면 그냥 조용히 놔둘지 지켜볼 대목이다. 직접 만들어 보려면 waitlist 페이지에서 사전 등록을 해볼 수 있다.