SWE-bench Pro

SWE-bench Pro는 AI에게 실제 소프트웨어 프로젝트에서 발생한 진짜 문제를 던져주고, 그걸 얼마나 잘 고치는지 채점하는 시험지다. 시험 문제가 교과서 예제가 아니라 실제 현장에서 있었던 고장 신고서에 가깝다는 점이 특징이다.

채점 방식은 단순히 답을 맞히는 게 아니라, AI가 내놓은 수정 코드가 그 프로젝트의 실제 검증 절차를 통과하는지로 판단한다. 코드를 조금 고쳤다고 끝이 아니라, 원래 있던 다른 기능들이 계속 정상 작동해야 통과다.

이런 벤치마크가 필요한 이유는 간단한 문제만 잘 푸는 AI와, 실제 회사에서 쓰는 복잡하고 얽힌 코드를 다룰 수 있는 AI를 구분하기 위해서다. 여러 AI 회사들이 새 코딩 모델을 낼 때 이 점수를 함께 공개하는 경우가 많다.