클로드 매니지드 에이전트, 창업자 셋이 말한 사용법

위스퍼 플로우는 미팅을 준비하는 브리프 기능에 이 서비스를 써요. 곧 만날 사람이 누구이고 왜 만나며 무엇을 얻어야 하는지를 미팅 24시간 전에 에이전트가 정리해 두는 기능인데, 창업자 사하즈 가르그는 이 브리프가 틀리면 아예 없느니만 못하다고 말해요. 톰이라는 사람을 만나는데 엉뚱한 톰의 정보를 보여 주면 미팅 자리에서 사용자가 혼란에 빠진다는 거예요.

그래서 이 회사가 가장 아끼는 기능은 아웃컴이에요. 에이전트에게 채점 기준표를 주고, 일을 한 에이전트와 완전히 분리된 다른 에이전트가 그 기준표로 결과를 채점하게 하는 방식이에요. 기준표에는 올바른 사람의 링크드인을 가져왔는지 같은 객관적인 항목과, 다섯 쪽짜리 자료가 아니라 한눈에 훑을 수 있게 정리됐는지 같은 읽기 편의 항목이 함께 들어가요. 채점을 통과하지 못하면 사용자에게 아무것도 보여 주지 않는 쪽을 택한다고 해요.

액티블리는 고객사마다 에이전트를 하나씩 붙여 두는 회사예요. 영업 담당자가 고객사 100곳을 맡으면 에이전트 100개가 각자 기억을 쌓으며 돌아가는 구조인데, 오늘 공략할 상위 다섯 곳이 어디인지처럼 고객사를 가로질러 답해야 하는 질문은 이 구조로 풀리지 않았어요. 창업자 미히르 가리멜라는 그 빈자리를 메우는 워치타워라는 기능을 매니지드 에이전트로 2주 만에 만들었고, 지금은 가장 많이 쓰이는 기능 중 하나가 됐다고 말해요.

이 회사가 빌려 쓰는 건 기억 저장소예요. 고객사별 핵심 기억은 검색 속도와 손상 방지 때문에 직접 관리하지만, 조직이 예측을 어떻게 하는지나 사용자가 무엇을 우선하는지 같은 나머지 기억은 서비스가 제공하는 관리형 메모리에 맡겨요. 남들과 다르게 동작할 필요가 없는 부분은 직접 만들 이유가 없다는 게 가리멜라의 설명이에요.

펜도의 쓰임새는 조금 달라요. 이 회사는 고객 앱에서 사용자가 실제로 무엇을 하는지 기록하는 제품 분석 도구를 파는데, 새 에이전트는 고객의 소스 코드까지 받아서 코드가 하려는 일과 실제로 벌어지는 일을 맞춰 봐요. 풀 리퀘스트가 올라올 때마다 에이전트가 코드를 읽고 가벼운 사용성 검토를 하며, 밤에는 전날 전환율이 떨어지지 않았는지 살펴 4주 전 변경까지 거슬러 올라가 수정을 제안해요.

남의 소스 코드를 다루는 만큼 펜도가 빌려 쓰는 건 샌드박스, 그러니까 격리된 작업 공간이에요. 최고경영자 토드 올슨은 소스 코드에 접근하는 순간 비밀값이 새어 나갈 수 있고, 어떤 도구를 노출하고 어떤 데이터를 보낼지 하나하나 신경 써야 하는데 그 일은 회사의 핵심 가치가 아니라고 말해요. 원래 직접 만든 시스템이 있었지만 문제가 쌓이자 매니지드 에이전트와 비교해 봤고, 며칠 만에 인프라가 돌아가고 몇 주 만에 제품 전체를 옮겼다고 해요.

세 사람이 직접 만들지 말지를 가르는 기준은 같아요. 지금 만드는 기능의 품질을 인프라가 결정하느냐예요. 가르그는 브리프 기능에서는 에이전트를 돌리는 틀 자체가 핵심 역량이 아니지만, 완전히 음성으로 조종하는 비서를 만든다면 그 틀이 곧 제품이라 직접 만들 가능성이 높다고 말해요. 올슨은 초기 단계에서는 어느 회사도 인프라 회사가 아니며 기능을 고객 앞에 빨리 내놓는 게 우선이라고 덧붙여요.

빌려 쓰는 쪽의 불만도 숨기지 않아요. 가리멜라는 고객사 500곳으로 작업을 뿌릴 때는 최고급 모델을 쓸 수 없어 값싼 모델로 바꿔야 하는데, 이 서비스의 구조가 전부 아니면 전무에 가까워 비용을 줄일 손잡이가 적다고 말해요. 올슨은 밤에 미리 돌려도 되는 작업을 배치 방식으로 처리할 수 있으면 비용을 절반에서 4분의 3까지 아낄 수 있을 텐데 지금은 그게 어렵다고 해요. 앤스로픽 쪽 진행자는 배치 모드가 도움이 되겠다고 받아요.

평가 방법에 대한 대화도 솔직해요. 가르그는 처음에는 감으로 만들다가 제품이 손에 붙는 순간부터 평가 세트가 필요하다고 말하고, 가리멜라는 실제 고객이 던진 질문을 그 고객과 대화하며 평가 문제로 바꾸는 방법이 가장 잘 통했다고 해요. 기억이 계속 바뀌는 시스템이나 슬랙 같은 외부 서비스에 기대는 에이전트를 오프라인에서 평가하는 방법은 아직 못 찾았다는 고백도 나와요.

새 모델이 나올 때의 함정도 짚어요. 가르그는 클로드 5 시리즈가 이전 세대보다 AI 가 쓴 티가 나는 문장을 더 많이 만들고 줄표도 더 자주 쓴다고 말하면서, 새 모델이 들여오는 새 실패 방식을 미리 알려 주는 게 앤스로픽이 해 줄 수 있는 가장 가치 있는 일이라고 해요. 자기 제품을 만드는 회사 대표가 모델 회사 앞에서 그 회사 모델의 버릇을 지적하는 장면이에요.

이 영상이 한국 개발자에게 읽히는 지점은 결론보다 계산법에 있어요. 세 회사 모두 직접 만들면 더 싸고 더 자유롭다는 걸 알면서도 기능을 하루나 2주 만에 내놓는 쪽을 골랐고, 그 대신 비용과 통제에서 무엇을 포기했는지를 숫자로 말해요. 에이전트 인프라를 직접 짤지 고민하는 팀이라면 세 사람이 같은 질문에 어떤 순서로 답하는지를 보는 것만으로 자기 답을 정리할 수 있어요.

결국 앤스로픽이 이 영상으로 보여 주려는 건 매니지드 에이전트가 빠르다는 사실이고, 세 창업자가 덧붙인 건 그 빠름의 값이에요. 실험 비용이 배우는 데 걸리는 시간이라면 빌려 쓰는 게 맞고, 비용을 90% 줄여야 기능이 성립한다면 직접 만들어야 한다는 게 이날 나온 가장 짧은 답이에요.