METAL

클로드 코드 팀, 코딩 에이전트 검증 방식 공개

클로드 코드 팀은 코드의 약 90%를 클로드가 쓰고 리뷰하는 환경에서 에이전트가 증거로 작업을 검증하게 만드는 방식을 정리했다. 종단 간·속성·차등 테스트와 39개 항목 신뢰성 체크리스트, 커밋 관문까지 운영 원칙을 숫자로 공개했다.

클로드 코드 팀, 코딩 에이전트 검증 방식 공개 · Image: METAL LAB

이미지: METAL

요약

  • 앤스로픽 클로드 코드 팀은 11월 16일 개발자 블로그에서 코드의 약 90%를 클로드가 쓰고 리뷰하는 환경의 검증 방식을 공개했다.
  • 별도 채점자가 루브릭으로 작업을 확인하게 하자 과제 성공률이 최대 10포인트 올랐고, 팀은 종단 간·속성·차등 테스트를 투자 가치가 큰 테스트로 꼽았다.
  • 클로드는 세 번 고쳐도 실패하면 사람을 부르고, 39개 항목 신뢰성 체크리스트 중 변경분에 해당하는 3개에서 10개만 확인하며, 검증 없는 커밋은 관문이 막는다.
발표
2026년 11월 16일(미국 시간) · claude.dev 블로그 How the Claude Code team thinks about verification · 글 애디 오스마니
클로드 작성 비중
클로드 코드 팀 코드의 약 90%를 클로드가 작성·리뷰
검증 고리 효과
없으면 클로드 1~2개 · 있으면 수십~수백 개 병렬 · 별도 채점자 루브릭 확인 시 과제 성공률 최대 10포인트 상승
추천 테스트
종단 간 테스트 · 속성 테스트(fast-check·Hypothesis·proptest) · 차등 테스트
실행 검증
클로드 크롬 확장 · iOS·안드로이드 MCP · 컴퓨터 사용 · 로컬 서비스 · .claude/skills/ verify 스킬
사람 호출
검사 실패가 세 번 고친 뒤에도 남으면 사람을 부름
신뢰성 체크리스트
39개 항목 · 변경분 발동 조건 · 보통 3~10개만 확인
리뷰 규칙
리뷰어 하나 · REVIEW.md 는 기본 브랜치에서 읽음 · 커밋 단위 리뷰 · PR 전 테스트·빌드·린터
커밋 관문
검증 도장(none 포함) · /code-review 나 /verify 없으면 차단 · 끔·관찰·강제 · 두 번 막히면 다음 커밋 통과
규칙화
PR 2건 이상 패턴 · 에이전트 3개 반박 시도 · 사람 승인 · 불안정 테스트는 원인 못 찾으면 삭제·사유 기록
X 반응
조회수 88만 5,606회 · 좋아요 1만 1,161개 · 북마크 1만 4,510개

앤스로픽 클로드 코드 팀이 11월 16일(미국 시간) 개발자 블로그 claude.dev에 코딩 에이전트가 자기 작업을 증거로 검증하게 만드는 방식을 정리한 글을 올렸다. 글쓴이 애디 오스마니는 클로드 코드 팀 코드의 약 90%를 클로드가 쓰고 리뷰한다고 밝히며, 이 규모에서는 에이전트가 증거로 작업을 검증하도록 갖춰 주는 일이 극도로 중요해진다고 적었다. 클로드 개발자 공식 계정은 X에서 "클로드는 자기 작업을 검증할 수 있을 때 더 나은 코드를 쓴다"며 테스트와 벤치마크, 종단 간 실행처럼 비쌌던 확인 작업이 이제는 싸졌다고 소개했다.

글이 내세운 전제는 검증 고리가 위임의 단위라는 것이다. 검증 고리가 없으면 사람이 모든 결과를 직접 확인해야 해서 클로드를 한두 개밖에 못 돌리지만, 고리가 있으면 수십, 수백 개를 병렬로 돌릴 수 있다고 오스마니는 주장했다. 근거로 든 사내 실험에서는 구조화된 파일 생성 과제에 별도 채점자가 루브릭으로 클로드의 작업을 확인하게 하자 일반 프롬프트 반복보다 과제 성공률이 최대 10포인트 올랐고, 가장 어려운 문제에서 향상 폭이 가장 컸다. 테스트와 벤치마크, 명세는 코드처럼 에이전트가 빨리 만들어 내고, 한번 만든 뒤에는 소프트웨어로 돌기 때문에 토큰을 많이 쓰지 않고 자주 실행할 수 있다는 설명이다.

오스마니가 꼽은 투자 가치가 큰 테스트는 세 가지다. 하나만 고르라면 장바구니 담기부터 결제, 확인 페이지까지 실제 사용자 흐름을 따라가는 종단 간 테스트를 고르라고 했다. 기능 전체가 되거나 안 되거나 둘 중 하나라 속이기 어렵고, 무엇이 어디서 고장 났는지 구체적으로 짚어 알려 주기 때문이라는 설명이다. 단위 쪽은 더 빠르고 덜 흔들리지만, 에이전트와 단위 검사 모두 과제 전체를 이해하지 못해 통과하고도 기능이 깨질 수 있다고 그는 덧붙였다. 메탈이 확인한 원문 도표가 이 차이를 그림으로 보여 준다. 결제 흐름이 깨진 같은 상황에서 왼쪽 화면은 30초 시간 초과 오류 한 줄만 남기지만, 오른쪽 화면은 결제 단계에서 멈췄다는 실행 기록과 화면 캡처, 결제 양식이 끝내 뜨지 않아 주문 버튼이 비활성으로 남았다는 설명까지 담았다.

두 번째는 속성 테스트다. 깨질 수 없다고 믿는 명제를 먼저 쓰고 fast-check, Hypothesis, proptest 같은 라이브러리로 그 명제를 반박할 입력 수천 개를 만들어 던진다. 인코딩한 값을 디코딩하면 원래 값이 나와야 한다는 왕복 성질, 계좌 잔고는 음수가 될 수 없다는 불변식, 두 번 해도 한 번 한 것과 같아야 한다는 멱등성, 최적화한 코드가 단순한 정답 코드와 같은 결과를 내야 한다는 동치성이 예로 나왔다. 코드를 쓴 에이전트와 같은 편향을 갖지 않은 입력으로 에이전트를 정직하게 붙잡아 둔다는 것이 오스마니의 설명이다. 세 번째인 차등 테스트는 옛 시스템을 정답지로 삼아 같은 입력을 새 시스템과 함께 돌리고 결과가 갈리는 곳을 찾는 방식으로, 대규모 이전 작업에 쓴다.

단위 테스트 실패는 30초 시간 초과 오류 한 줄만 남기고, 종단 간 테스트 실패는 결제 단계 실행 기록과 화면 캡처, 실패 원인 설명을 보여 주는 것을 비교한 앤스로픽 도표

팀의 실제 운영 원칙은 테스트보다 실행이 먼저라는 문장에서 출발한다. 오스마니는 "앱을 종단 간으로 돌려 보는 것이 테스트보다 중요하다"며 시뮬레이터에서 써 보지 않은 iOS 변경을 내보내지 않듯 클로드도 마찬가지라고 썼다. 웹 변경은 클로드 크롬 확장, 모바일은 iOS·안드로이드 MCP, 데스크톱은 컴퓨터 사용, 백엔드는 서비스를 로컬에서 띄워 확인한다. 앱을 띄우고 확인하는 방법은 저장소의 .claude/skills/ 폴더에 verify라는 스킬로 적어 두고, 클로드는 커밋 전에 이 스킬을 쓴다. 메탈은 클로드 코드의 iPhone Duo 시뮬레이터 지원을 보도한 바 있는데, 이번 글은 그런 실행 환경이 작업 확인 고리 안에서 어떤 자리를 차지하는지 보여 준다.

사람이 개입하는 지점도 숫자로 정해 뒀다. 클로드는 검사를 돌리고 실패한 것을 고치되, 세 번을 돌고도 실패가 남으면 멈추고 사람을 부른다. 코드 소유자가 자기 코드의 검사를 직접 쓰고, 검사가 리뷰어를 부를 때는 이유를 함께 적는다. 팀은 신뢰성 체크리스트 39개 항목을 관리하는데, 항목마다 변경분에서 읽어 낼 수 있는 발동 조건과 검사, 그 항목을 낳은 장애나 PR이 붙어 있다. 클로드는 변경분을 읽고 조건이 맞는 항목, 보통 3개에서 10개만 확인해 아무도 과거 장애를 외울 필요가 없게 한다.

검사가 변경에 오염되지 않게 하는 장치도 있다. 리뷰어를 겹겹이 쌓는 대신 리뷰어 하나를 다듬고, 그 리뷰어가 볼 지점을 적은 REVIEW.md는 풀 리퀘스트의 변경분이 아니라 기본 브랜치에서 읽는다. 리뷰 도중 새 푸시가 들어오면 그 결과는 쓸모가 없어지므로 리뷰는 커밋 단위로만 한다. 클로드는 풀 리퀘스트를 열기 전에 테스트와 빌드, 린터를 먼저 돌린다. 커밋마다 어떻게 검증했는지 도장을 찍고 검증하지 않은 경우도 none으로 남겨 조회할 수 있게 했으며, 세션에 /code-review나 /verify가 없으면 커밋을 막는 관문은 끔, 관찰, 강제 세 단계로 돌린다. 강제 단계에서 한 세션이 두 번 막히면 다음 커밋은 통과시키는데, 회사는 클로드 코드가 완벽하지 않아 클로드가 갇히지 않게 하려는 장치라고 밝혔다.

리뷰어도 채점을 받는다. 팀은 병합 뒤 되돌린 변경 수, 관리자가 병합 전에 거절한 변경 수, 크기를 맞춘 무사고 변경 표본을 추적한다. 코드 리뷰 평가는 과거 장애와 되돌림 사례마다 저장소를 리뷰 당시 상태로 되살리고 한 문장짜리 정답을 붙여, 버그를 정확히 짚은 지적에만 점수를 준다. 원시 지적, 검증 뒤, 최종 리뷰 단계의 재현율을 따로 재서 이미 찾은 버그를 중간에 잃는지도 본다. 놓친 사례는 규칙으로 바뀐다. 사람의 리뷰 댓글과 되돌림에서 PR 2건 이상에 나타나고 변경분에서 식별되는 패턴을 뽑아, 에이전트 3개가 반박을 시도한 뒤 사람이 승인한다. 불안정한 테스트는 건너뛰거나 대기를 넣거나 통과할 때까지 재시도할 수 없고, 원인을 못 찾으면 테스트를 지우고 이유를 기록한다.

기자의 눈으로 보면 이 글의 무게는 테스트 기법 목록보다 책임의 재배치에 있다. 사람의 일이 모든 변경분을 읽는 것에서 완료의 정의를 정하고 증거를 검토하는 것으로 옮겨 가고, 그 전환이 클로드를 여러 개 동시에 돌리게 해 준다는 것이 오스마니의 결론이다. 검증 계층을 다른 시스템처럼 다루고, 판정받는 변경이 손댈 수 없는 곳에 두며, 놓친 교훈을 적되 계속 가지치기하라는 주문도 함께 남겼다. 게시물은 하루 만에 X에서 조회수 88만 5,606회와 북마크 1만 4,510개를 모았다. 코드 생산이 싸진 자리에서 경쟁력은 무엇을 검증하고 누가 그 검증을 검증하느냐로 넘어가고 있다.

김현국

METAL 발행인 · 아카이브저널 발행인 · 이라선 운영

매거진·서점·교육을 오래 해 온 편집자예요. 라이프스타일 매거진 <아카이브저널>을 발행하고, 아트 서점 <이라선>을 운영했으며, 라이카 아카데미에서 디렉터로 사진 교육 프로그램을 만들고 이끌었어요. 그 시선으로 전 세계 AI 소식을 독자에게 전하는 메탈(METAL) 매거진 편집장입니다.

이 에디터의 기사 더 보기 →

공유

댓글

METAL for iPhone

AI 뉴스, 이제 앱에서 읽으세요.

METAL 앱을 다운로드하고 매일 새로운 AI 기사를 만나보세요.

App Store에서 다운로드

iPhone용 앱 · 무료 다운로드

iPhone의 App Store에서도 ‘메탈 AI 매거진’을 검색할 수 있습니다.