이미지: METAL LAB 생성
요약
- 마이크로소프트가 폴리글랏 유닛테스트 에이전트 'code-testing-generator'를 MIT 라이선스 dotnet/skills 저장소에 공개했다
- 내부 152개 과제 벤치마크에서 완료율 92.1%(140개)로 스톡 GitHub Copilot의 78.9%(120개)를 앞섰다
- 모호한 프롬프트 89개 중에서는 88.8% 대 66.3%로 격차가 가장 컸고, 특정 diff 대상 15개 과제는 15대 0으로 완승했다
- 공개 형태
- MIT 라이선스, dotnet/skills 저장소 내 dotnet-test 플러그인
- 내부 벤치마크 완료율
- 92.1%(140/152) vs 스톡 Copilot 78.9%(120/152)
- 모호한 프롬프트(89개)
- 88.8%(79개) vs 66.3%(59개)
- diff 타깃 과제(15개)
- 에이전트 15/15, 스톡 Copilot 0/15
- .NET 45개 과제(Claude Opus 4.8)
- 43/45 vs 스톡 35/45
- 테스트 수·커버리지·소요시간
- 테스트 2.3% 감소(6,963 vs 7,129), 커버리지 동일(72.4% vs 72.2%), 359초 vs 380초
마이크로소프트가 여러 프로그래밍 언어를 지원하는 유닛테스트 생성 에이전트 'code-testing-generator'를 오픈소스로 공개했다. MIT 라이선스로 배포되는 dotnet/skills 저장소의 dotnet-test 플러그인 형태로 제공되며, 별도 호스팅 서비스가 아니라 기존 코딩 에이전트 안에서 실행돼 코드가 로컬에 남는 구조로 알려졌다.
저장소부터 읽는 방식
이 에이전트는 'unit test를 생성하라'는 식의 모호한 프롬프트에서 프레임워크나 파일 위치 같은 결정을 저장소를 먼저 읽어 스스로 판단한다. 언어와 테스트 프레임워크를 감지하고 기존 테스트 관례를 파악한 뒤, 실제 빌드·테스트 명령까지 확인하고 나서야 테스트를 작성한다. Research-Plan-Implement(RPI) 파이프라인을 통해 계획, 작성, 실행, 검증을 거치며, 프로덕션 코드는 수정하지 않는다고 밝혔다.
벤치마크 결과
마이크로소프트의 내부 152개 과제 벤치마크에서 이 에이전트는 140개(92.1%)를 완료해 동일 모델·프롬프트를 쓴 스톡 GitHub Copilot의 120개(78.9%)를 앞섰다. 격차는 모호한 프롬프트에서 두드러졌는데, 89개 중 79개(88.8%)를 처리해 스톡 Copilot의 59개(66.3%)보다 실패를 30건에서 10건으로 줄였다. 반면 63개의 상세한 프롬프트에서는 양측 모두 61개(96.8%)로 동일했다.
특정 pull request diff를 대상으로 한 15개 과제에서는 에이전트가 전부 통과한 반면 스톡 Copilot은 하나도 통과하지 못했다. .NET 45개 과제에서는 Claude Opus 4.8 기준 에이전트가 43/45, 스톡이 35/45였고 GPT-5.5 기준으로는 41/45 대 36/45였다. 외부 SWE Atlas 벤치마크에서는 16/44 대 12/44로 나타났다.
마이크로소프트에 따르면 이 에이전트는 테스트 개수를 2.3% 적게 생성(6,963개 대 7,129개)하면서도 커버리지는 사실상 동일(72.4% 대 72.2%)했고, 평균 작업 시간은 359초로 스톡 대비 소폭 짧았다.
