DeepSWE 벤치마크

DeepSWE 벤치마크는 AI 모델에게 실제 소프트웨어 개발 문제를 풀게 하고 얼마나 많이 맞혔는지 채점하는 일종의 코딩 시험이다. 학생들에게 똑같은 수학 문제집을 풀게 해서 실력을 비교하듯, 여러 회사가 만든 AI 모델에게 같은 개발 과제를 주고 몇 개나 제대로 해결하는지 비교하는 용도로 쓰인다.

이런 시험은 모델 하나만 단독으로 볼 수도 있고, 여러 모델을 이어붙인 조합으로도 볼 수 있다. 예를 들어 값싼 모델이 먼저 답을 내고 정답인지 자동으로 확인한 뒤, 틀렸을 때만 더 비싼 모델에게 넘기는 방식도 이 시험대 위에서 성적을 매길 수 있다. 점수는 절대적인 지능 순위가 아니라 특정 유형의 개발 과제에서의 해결 능력을 보여주는 참고 자료에 가깝다.

기사에서는 "두 모델을 동일한 소프트웨어 엔지니어링 과제 벤치마크인 DeepSWE에서 테스트했다"는 식으로 등장한다. 여기서 오해하기 쉬운 점은, 이 벤치마크 점수가 실제 업무 현장에서의 성능을 그대로 보장하지는 않는다는 것이다. 기사에서도 구체적인 해결률이나 비용 수치는 공개되지 않아 추가 확인이 필요하다고 밝히고 있다.