앤스로픽, 클로드 API 개발 대담 영상 공개

앤스로픽이 클로드 API 개발팀의 대담 영상을 공개했다. 클로드 개발자 계정 ClaudeDevs는 11월 12일(미국 시간) X에 81초 분량의 예고 영상을 올리며, 두 엔지니어가 새 모델을 API에 어떻게 내놓는지와 그때 함께 나가는 기능을 이야기한다고 밝혔다. 18분 29초짜리 전체 영상 「프런티어를 위한 클로드 API 만들기」는 같은 날 유튜브 클로드 채널에 올라왔다. 대담에는 API 엔지니어링 책임자인 제이크 데즈노(Jake Dejno)와 플랫폼 인텔리전스 리드인 루카 시아우지오니스(Lucca Siaudzionis)가 마주 앉았다. X 게시물 조회수는 올라온 지 한 시간도 안 돼 5만 4천 회를 넘었다.

대담의 출발점은 Messages API다. 시아우지오니스는 이것을 API의 주춧돌이라고 부르며, 사용자와 어시스턴트가 번갈아 말하고 그 사이에 도구 호출이 끼는 구조 위에 클로드의 행동을 바꾸는 조절 장치를 얹었다고 설명했다. 그중 하나가 effort다. 그는 같은 모델이라도 effort를 높이느냐 낮추느냐에 따라 클로드의 행동이 크게 달라진다고 말했다. 문서의 가장 기본적인 요청을 그대로 복사해 붙여도 연구팀이 가장 낫다고 본 설정이 기본값으로 실린다는 것이 그의 설명이다.

어떤 기능을 낼지는 연구팀과 고객 양쪽에서 정해진다. 시아우지오니스에 따르면 연구자들이 클로드가 컴퓨터를 점점 잘 다룬다는 것을 알아챈 일이 API의 컴퓨터 사용 도구가 됐고, 반대로 고객이 자주 요구하는 것은 다음 세대 클로드를 훈련할 연구 과제로 넘어간다. 대담에서 작아 보이지만 실제로는 큰 변화로 꼽힌 것은 대화 중간에 effort와 시스템 프롬프트를 바꾸는 기능이다. 예전에도 둘 다 바꿀 수는 있었지만 그러면 프롬프트 캐시가 깨졌고, 높은 effort로 돌던 에이전트가 다음 요청이 쉽다는 걸 알고 낮춰도 아낀 비용이 사라졌다. 영상 설명에 따르면 이 기능과 클로드 관리형 에이전트는 아직 베타다.

비용 이야기는 캐싱으로 모였다. 시아우지오니스는 "많은 길이 프롬프트 캐싱으로 통한다"며 "캐싱을 아직 다듬지 않은 고객에게 가장 먼저 하는 권고"라고 말했다. 두 번째 요청이 첫 요청에 내용을 덧붙이는 형태라면 이미 한 번 처리한 블록을 캐시에 담아 다시 쓰는 방식이다. 그는 영업팀이 고객에게 캐시 적중률을 90%까지 올릴 수 있느냐고 묻는다며, 그 수치를 꿈의 숫자라고 불렀다. 메탈이 확인한 클로드 플랫폼 소개 페이지는 프롬프트 캐싱으로 비용을 최대 90%, 일괄 처리로 50% 줄일 수 있다고 적고 있다.

데즈노는 토큰 단가만 보는 계산법에 선을 그었다. 그는 "토큰당 비용에는 토큰당 지능이라는 차원도 함께 붙어야 한다"며, 더 똑똑한 모델은 같은 결과에 이르는 데 쓰는 토큰 수가 크게 다르다고 설명했다. Haiku나 Sonnet을 쓰는 사용자 가운데 상위 모델로 올리면 오히려 나아질 경우를 놓치는 일이 많다는 것이다. 반대 방향도 있다. 시아우지오니스는 Fable 5로만 풀리던 문제를 이제 Opus 5가 풀 수 있게 되는 경우를 예로 들었다.

모델 버전을 바꿀 때의 원칙도 나왔다. 데즈노는 모델 이름 문자열 자체가 버전 역할을 하고, 베타 헤더 같은 장치로 이전 동작으로 되돌릴 수 있다고 설명했다. 시아우지오니스는 기존 확장 사고를 적응형 사고로 바꿀 때 평가에서 이미 적응형이 낫다는 것을 확인했지만, 한동안 옛 방식으로 되돌리는 토글을 남겨 뒀다고 말했다. 다만 모델이 옛 방식으로 더는 훈련되지 않는 시점이 오면 아무 일도 하지 않는 설정을 API에 남기는 쪽이 개발자에게 더 해롭다고 덧붙였다. 그는 새 모델이 이전보다 10배 똑똑해지면 하네스가 오히려 제약이 될 수 있다며, 모델이 바뀔 때마다 주변 구성을 다시 평가하라고 권했다.

가장 민감한 대목은 Mythos와 Fable의 관계다. 시아우지오니스는 API의 모든 모델이 오용을 막는 분류기 여러 개와 함께 돌아간다고 밝혔다. 신원 확인 절차를 거친 사용자는 Mythos를 쓰고, 그 절차를 거치지 않은 사용자는 Fable을 쓴다. 그는 "결국 같은 지능, 같은 모델 가중치"라며 "분류기에 따라 이 모델로 얼마나 할 수 있느냐의 차이"라고 말했다. 영상 설명에 따르면 Mythos 접근은 사이버 검증 프로그램을 거친다. 그는 모델이 증류돼 안전장치 없는 약한 복제 모델이 퍼지는 것을 세계에 매우 위험한 상황이라고 규정하며, 최근 사고 과정 보호 조치를 묶어 내놓은 것도 증류를 막기 위해서라고 설명했다.

메탈은 앤스로픽이 Fable 5.2와 Mythos 5.2를 출시했다고 보도한 바 있으며, 이번 대담은 그 모델들이 어떤 장치를 달고 API에 나오는지를 개발자 쪽에서 보여 준다. 시아우지오니스는 공개되는 기능마다 안에서 시험한 변형이 10개쯤 있었고, 모델이 너무 잘 풀어 의미가 없어진 평가를 더 어렵게 고치는 일이 반복된다고 말했다. 새 모델이 나올 때마다 예전에 기준을 못 넘어 묵혀 둔 기능을 다시 돌려 본다는 것이다. 개발자에게 남는 숙제는 하나로 모인다. 모델을 올릴 때마다 자기 평가로 작업당 비용을 다시 재야 한다.