이미지: METAL LAB 생성
요약
- 노스이스턴대와 스탠퍼드대 연구진이 MIT 라이선스 파이썬 런타임 Shepherd를 공개했다
- 에이전트-환경 상호작용을 Git과 유사한 실행 트레이스로 기록해 과거 상태로 포크·복귀할 수 있다
- Docker 대비 5배 빠른 포크 속도와 95% 이상의 프롬프트 캐시 재사용률을 보고했다
- 개발 기관
- 노스이스턴대학교, 스탠퍼드대학교
- 라이선스
- MIT, PyPI 설치 가능(pip install shepherd-ai), Python 3.11+ 필요
- 포크 속도
- Docker 대비 5배 빠름
- 캐시 재사용률
- 95% 이상 프롬프트 캐시 재사용
- 성능 사례
- CooperBench 페어코딩 성공률 28.8%→54.7%, TerminalBench-2 34.2%→39.4%
노스이스턴대학교와 스탠퍼드대학교 연구진이 장시간 실행되는 AI 에이전트의 상태를 기록하고 되감을 수 있는 오픈소스 파이썬 런타임 Shepherd를 공개했다. 코딩 에이전트가 오류를 잘못 해석해 정상 파일을 다시 고쳐 쓰는 경우처럼, 기존에는 앞으로 패치하거나 처음부터 재시작하는 방법밖에 없었다. 두 방법 모두 토큰 비용이 크게 들거나 비결정적 특성 때문에 동일한 실행을 재현하지 못하는 문제가 있었다.
Shepherd는 에이전트와 환경 사이의 모든 상호작용을 타입이 지정된 이벤트로 기록해 Git과 유사한 실행 트레이스를 만든다. 각 상호작용은 하나의 커밋처럼 취급되지만, Git과 달리 파일뿐 아니라 에이전트 프로세스와 파일시스템 상태까지 함께 카피온라이트(copy-on-write) 방식으로 저장한다. 이를 통해 특정 시점으로 돌아가는 작업이 단일 포크 명령으로 가능해진다.
연구팀은 Shepherd가 Docker보다 5배 빠르게 에이전트 프로세스와 파일시스템을 포크할 수 있으며, 분기 지점까지의 프롬프트 접두어가 변하지 않기 때문에 재생 시 95% 이상의 프롬프트 캐시를 재사용한다고 밝혔다.
메타 에이전트를 통한 개입
포크가 가능해지면서 실행 트레이스를 관찰하고 문제가 커밋되기 전에 개입하는 상위 에이전트도 구현할 수 있다. 연구팀은 실시간 감독을 적용한 페어코딩에서 CooperBench 성공률이 28.8%에서 54.7%로 상승했다고 보고했다. 또한 분기 탐색 기반 반사실적 최적화는 네 개 벤치마크에서 기존 대비 최대 11점 높은 성능을 내면서 실행 시간을 최대 58% 줄였다. 선택한 시점에서 롤아웃을 분기하는 Tree-RL 훈련에서는 TerminalBench-2 점수가 34.2%에서 39.4%로 올랐다.
Shepherd는 macOS의 Seatbelt와 리눅스의 Landlock(권한을 가진 컨테이너 내)에서 OS 수준 권한 강제 기능을 지원하며, 현재는 초기 알파 단계로 프로덕션 환경에는 적합하지 않은 것으로 알려졌다.
