AI 코딩 에이전트에게 여러 파일을 동시에 손보는 '리팩토링' 숙제를 냈더니, 최고 모델도 41.2%만 풀었다

무엇을 했나

1. 기존 벤치마크(SWE-bench Verified 등)는 문제 난이도가 낮고 테스트 품질에도 결함이 많아 실제 실력을 제대로 재지 못한다는 문제의식에서 출발했다.
2. GitHub에서 별 500개 이상, 오픈소스 라이선스, 특정 언어 비중 80% 이상인 저장소의 'refactor' 커밋 2만9782개를 모은 뒤, 환경 검증과 전문가 재작성을 거쳐 170개만 최종 채택했다.
3. 각 문제의 이슈 설명은 처음부터 새로 작성해 모호함을 없앴고, 테스트도 사람이 직접 검토해 지나치게 좁거나(정답을 오답 처리) 지나치게 넓은(요구되지 않은 조건까지 검사) 테스트를 제거했다.
4. Python, Java, TypeScript, Go, C, C++, Rust 7개 언어로 구성했고, 문항당 평균 11.4개 파일, 261.6줄 코드를 수정해야 해 기존 벤치마크보다 훨씬 크다.
5. Claude Sonnet 4.6, GPT-5.2, Gemini-3-Pro, GLM-5, Kimi-K2.5, Qwen3.5 등 6개 최신 모델을 mini-swe-agent와 OpenHands 두 에이전트 프레임워크로 평가한 결과, GPT-5.2가 41.2%로 가장 높았다.

실제로 확인된 결과

• 6개 최신 모델을 두 가지 에이전트 프레임워크로 평가한 결과 최고 성능 모델인 GPT-5.2가 41.2% 해결률을 기록했고, 이는 SWE-bench Verified에서 프론티어 에이전트가 75% 이상을 기록하는 것과 비교해 훨씬 낮은 수치다.
• 오픈소스 모델인 GLM-5와 Qwen3.5는 OpenHands 환경에서 각각 36.5%를 기록해 GPT-5.2(41.2%), Claude Sonnet 4.6(38.8%)에 근접했으며, 비용은 각각 0.24달러로 Claude Sonnet 4.6의 4.77달러 대비 약 20분의 1 수준이었다.
• 에이전트가 수정한 파일 수를 골드 패치와 비교했을 때, 큰 규모의 패치일수록 에이전트가 필요한 파일 수보다 적게 수정하는 경향이 뚜렷했다(골드 패치는 90% 지점까지 약 20개 파일이 필요한 반면 에이전트는 약 10개 파일에서 90%에 도달).
• 실패한 시도는 성공한 시도보다 훨씬 많은 상호작용 라운드를 소모했으며, 이는 반복적인 편집-되돌리기 순환에 빠지는 경향과 관련 있었다.
• 언어별 성능 편차가 커서 Claude Sonnet 4.6은 TypeScript(53.6%)와 Rust(63.6%)에서, GPT-5.2는 Python(48.3%)과 C(75.0%)에서, GLM-5는 Java(34.6%)에서 가장 우수했고 특정 언어를 압도적으로 잘하는 단일 모델은 없었다.

어디에 쓸 수 있나

• AI 코딩 에이전트가 대규모 다중 파일 변경 작업(리팩토링)을 얼마나 잘 처리하는지 평가하는 표준 벤치마크로 활용할 수 있다.
• 에이전트 스캐폴드(도구 구성)나 프롬프트 전략이 다중 파일 조율 능력에 미치는 영향을 비교하는 연구에 쓸 수 있다.
• 모델 선택 시 해결률 대비 비용 효율(오픈소스 모델 vs 독점 모델)을 검토하는 참고 자료로 활용할 수 있다.
• 7개 언어별 특성(타입 시스템, 메모리 모델 등)이 에이전트 성능에 미치는 영향을 분석하는 데 활용할 수 있다.

한계와 남은 검증

• 벤치마크는 170개 인스턴스, 70개 저장소로 규모가 크지 않아 특정 언어(예: TypeScript는 저장소 2개에서 28개 인스턴스가 나옴)의 결과가 소수 프로젝트에 편중될 수 있다.
• 평가에 사용된 프레임워크는 mini-swe-agent와 OpenHands 두 가지로 한정돼, 다른 에이전트 아키텍처에서의 결과는 검증되지 않았다.
• 태스크 분류와 추론 스킬 라벨링(Appendix B)은 Claude Sonnet 4.6이 수행한 것으로, 분석 목적으로만 쓰였고 벤치마크 정답이나 평가 결과 자체에는 영향을 주지 않는다.
• 2025년 1월 이후 커밋만 대상으로 했기 때문에 최신 모델의 학습 데이터 오염 여부에 대한 완전한 보증은 되지 않는다.

왜 중요한가

리팩토링은 실제 개발 현장에서 가장 흔한 작업 중 하나이면서도 여러 파일을 동시에, 동작을 바꾸지 않으면서 고쳐야 하는 까다로운 작업이라 에이전트의 진짜 실력을 가늠하는 잣대가 될 수 있다. 이 벤치마크는 기존 벤치마크가 포화되고 신뢰도가 흔들리는 상황에서, 아직 풀리지 않은 도전 과제를 제공해 에이전트 개발 방향을 가늠하게 해준다.

이 논문의 용어

• SWE-bench · GitHub 이슈와 실제 코드 저장소를 기반으로 AI 코딩 에이전트를 평가하는 대표적인 벤치마크 시리즈
• 리팩토링 · 겉으로 드러나는 동작은 바꾸지 않으면서 코드 구조를 정리하는 작업
• resolve rate(해결률) · 에이전트가 수정한 코드가 준비된 테스트를 모두 통과한 문항의 비율
• 골드 패치 · 원래 개발자가 실제로 적용한 정답 코드 변경 내역
• 에이전트 스캐폴드 · 모델이 파일 탐색, 편집, 명령 실행 등을 반복하며 작업하도록 도와주는 실행 틀(mini-swe-agent, OpenHands 등)

최신 논문

• AI 코딩 에이전트에게 과학 소프트웨어 수리를 시켜보니, 절반도 제대로 못 고쳤다AI 코딩 에이전트에게 과학 소프트웨어 수리를 시켜보니, 절반도 제대로 못 고쳤다arXiv:2608.197992026-08-21
• 논문 속 시연이 아니라 실제 서비스에 넣을 수 있는 희소 어텐션 만들기논문 속 시연이 아니라 실제 서비스에 넣을 수 있는 희소 어텐션 만들기arXiv:2608.197582026-08-21
• 고객상담 AI 상담원이 규정을 '한 번의 행동'이 아니라 '전체 절차'로 지키게 만드는 방법고객상담 AI 상담원이 규정을 '한 번의 행동'이 아니라 '전체 절차'로 지키게 만드는 방법arXiv:2608.198612026-08-21
• 로봇 팔에게 사람의 시연 없이 새 일 시키기, 말 잘하는 AI가 대신 가르친다로봇 팔에게 사람의 시연 없이 새 일 시키기, 말 잘하는 AI가 대신 가르친다arXiv:2608.198912026-08-21
• 에이전트 학습용 환경을 새로 만드는 대신, 기존 환경에 '패치 부품'을 씌워 그 에이전트의 약점에 맞게 바꾸는 방법에이전트 학습용 환경을 새로 만드는 대신, 기존 환경에 '패치 부품'을 씌워 그 에이전트의 약점에 맞게 바꾸는 방법arXiv:2608.198802026-08-21
• AI 비서가 뭘 기억할지 결정할 때, '물어봐야 할 순간'에 되레 세상에 확인하고 넘어간다AI 비서가 뭘 기억할지 결정할 때, '물어봐야 할 순간'에 되레 세상에 확인하고 넘어간다arXiv:2608.195642026-08-21
• 단어 뜻이 언제 어떻게 변했는지, 문법 구조까지 뜯어서 보여주는 오픈소스 도구단어 뜻이 언제 어떻게 변했는지, 문법 구조까지 뜯어서 보여주는 오픈소스 도구arXiv:2608.194722026-08-21
• AI로 주식 뉴스 요약해보니, 최신 검색보강 기법보다 오히려 단순 요약 방식이 더 정확했다AI로 주식 뉴스 요약해보니, 최신 검색보강 기법보다 오히려 단순 요약 방식이 더 정확했다arXiv:2608.195262026-08-21

METAL LAB 최신 기사

• 사카나AI, 일본 방위성과 정보분석 AI 실증 계약
• 헤르메스 에이전트, 쓸수록 스스로 스킬 만든다
• 저작권 책으로 AI 학습, 합법일까 불법일까 법정 공방
• 중국 그레이마켓, 앤스로픽 클로드 토큰 정가 10%에 유통
• AI 폭주 대응 계획, 5대 빅랩 중 최고점도 3점 그쳐