SWE-bench Verified

SWE-bench Verified는 AI 코딩 도우미가 실제로 존재했던 소프트웨어 버그를 얼마나 잘 고치는지 시험하는 문제집이다. 문제마다 실제 버그 신고 내용, 고쳐야 할 코드, 그리고 수정이 맞는지 확인하는 자동 테스트가 함께 들어 있어서, AI가 낸 답을 사람이 일일이 읽지 않고 테스트 통과 여부로 채점한다.

이름에 붙은 Verified(검증됨)는 원래 문제 모음 중에서 사람이 다시 하나하나 살펴보고, 실제로 풀 수 있는 문제인지, 설명이 애매하지 않은지 걸러낸 뒤 남긴 엄선된 부분이라는 뜻이다. 그래서 이 시험에서 얻은 점수는 회사 코드에서 발생하는 실제 버그 수정 작업을 얼마나 믿고 맡길 수 있는지 가늠하는 근거로 자주 인용된다.

기사에서는 “NVIDIA는 SWE-bench Verified, CyberGym L1, ARC-AGI-3 세 가지 벤치마크에서 NOOA가 기존 하니스보다 높은 정확도와 낮은 토큰 비용을 기록했다”처럼, 새로 나온 에이전트 프레임워크나 모델의 실력을 보여주는 기준점으로 쓰인다.

오해하기 쉬운 점: 이 점수가 높다고 모든 코딩 작업을 잘한다는 뜻은 아니다. 문제 출처가 특정 오픈소스 프로젝트들로 한정돼 있어, 그 범위 밖의 실전 상황에서는 성능이 다를 수 있다.

코딩 도우미를 비교해볼 때 다음처럼 물어보면 참고가 된다.

이 모델의 SWE-bench Verified 점수는 몇 점이고, 전체 문제 중 몇 개를 해결했는지 알려줘. 그리고 이 점수를 다른 코딩 도우미 점수와 비교해줘.

점수 숫자만 보지 말고 몇 개 문제로 측정한 결과인지 함께 확인하면 신뢰도를 가늠하는 데 도움이 된다.