앤스로픽, 클로드 코드 첫 응답 대기 3배 단축

앤스로픽이 클로드 코드의 첫 응답 대기 시간을 3배 단축했다고 밝혔다. 앤스로픽 개발자 계정 클로드데브스(@ClaudeDevs)는 10월 16일(미국 시간) X에 올린 글과 도표에서, 모델이 계산하는 시간을 뺀 첫 토큰 전 대기 시간이 8월부터 10월 사이 클로드 코드 로컬 세션에서 4.07초에서 1.33초로 줄었다고 공개했다. 같은 기간 클로드 채팅과 코워크의 대기는 3.36초에서 2.17초로 1.5배 짧아졌다.

계정은 "클로드 전반의 성능을 계속 개선하고 있고, 응답이 더 빨리 시작된다는 것을 이미 눈치챘을 수도 있다"고 썼다. 메탈이 확인한 시점에 이 글은 공개 하루가 안 돼 조회 149만 회, 좋아요 1만 3천여 회를 기록했다.

도표의 수치는 네 갈래다. 클로드 코드 로컬 세션은 4.07초에서 1.33초로 3배, 클라우드 세션은 16.99초에서 6.00초로 2.8배, 채팅과 코워크는 3.36초에서 2.17초로 1.5배 빨라졌다. 이 세 항목은 모델 시간을 뺀 대기를 하위 90% 지점(p90)으로 잰 값이다. 클로드 API만은 모델 시간을 포함한 첫 토큰까지의 시간을 중앙값(p50)으로 쟀고, 1.53초에서 1.01초로 1.5배 줄었다.

단축의 첫 번째 장치는 압축이다. 계정은 "클로드 코드는 이제 매 턴 보내는 대화를 gzip으로 압축해, 대화가 모델에 더 빨리 닿는다"고 설명했다. 깃허브 릴리스 노트에 따르면 이 변경은 10월 14일(UTC) 배포된 2.1.300 버전에 들어갔다. 노트는 api.anthropic.com으로 가는 큰 요청에 대해 텔레메트리를 꺼 둔 환경에서도 gzip 압축을 쓰도록 바꿨다고 적었고, 환경변수 CLAUDE_CODE_GZIP_REQUEST_BODIES=0으로 이 기능을 끌 수 있게 했다.

두 번째 장치는 클라우드 세션의 시작 시점이다. 계정은 "클라우드 세션도 입력을 시작하는 순간 켜진다"고 밝혔다. 메시지를 보낸 뒤가 아니라 입력을 시작한 시점부터 원격 실행 환경을 준비한다는 뜻이다. 클라우드 세션의 대기는 16.99초로 네 항목 가운데 가장 길었고, 줄어든 폭도 약 11초로 가장 컸다.

같은 2.1.300 릴리스에는 클라우드 세션의 지연을 다룬 수정도 함께 실렸다. 조직 정책을 읽지 못할 때 클라우드 세션이 턴마다 5분씩 멈추던 문제를 고쳐 턴이 바로 끝나고 그 이유를 알리게 했고, 긴 답변 도중 세션이 재시작되면 이미 답한 메시지를 다시 실행하던 문제도 바로잡았다. 종료 명령은 멈추라는 요청 뒤 1.5초가 지나도 돌던 백그라운드 명령을 강제로 끝내도록 바뀌었다.

엔지니어의 눈으로 보면 이번 수치의 핵심은 모델 자체가 빨라진 결과가 아니라는 점이다. 도표 제목이 밝힌 대로 앞의 세 항목은 모델 시간을 뺐다. 요청을 만들고 보내고 실행 환경을 준비하는 클라이언트와 네트워크 구간의 비용이 줄었다는 의미다. 코딩 에이전트는 대화가 길어질수록 매 턴 실어 보내는 분량도 커지고, 압축은 그 분량이 클수록 효과가 커진다. p90은 느린 쪽 10%가 시작되는 경계라서 평균보다 사용자가 체감하는 지연에 가깝다.

메탈은 앤스로픽의 클로드 코드 데스크톱 병렬 세션 개편을 보도한 바 있다. 병렬 세션이 한 번에 돌리는 일의 수를 늘렸다면, 이번 개선은 한 턴을 기다리는 시간을 줄였다. 에이전트를 자주 부르는 개발자에게는 초 단위 대기가 쌓여 작업 흐름을 좌우한다. 같은 모델을 쓰더라도 그 앞뒤 구간을 얼마나 깎느냐가 코딩 도구의 경쟁력이 되고 있다.