이미지: X — 벤치마크·평가 화면 갈무리
요약
- Artificial Analysis가 실제 스프레드시트·문서를 다루는 정량 분석 에이전트 벤치마크 AA-AnalystAgent를 공개했고, Claude Opus 5가 54%로 1위, GPT-5.5가 50%, Claude Fable 5가 49%를 기록했다.
- 한 번에 맞히는 pass@1은 GPT-5.5(xhigh)가 66%로 가장 높았지만, 다섯 번 모두 성공해야 하는 pass^5에서는 Claude Opus 5가 앞섰다.
- 실패 사례 1,567건을 분석한 결과 57%가 '초기의 잘못된 가설에 집착'하는 유형이었고, 같은 20% 점수를 작업당 0.05달러와 1.34달러로 내는 모델이 공존했다.
- 벤치마크명
- AA-AnalystAgent (Artificial Analysis 개발)
- 평가 대상
- 실제 업무용 스프레드시트·문서 기반 정량 분석 에이전트 과제
- 상위 점수
- Claude Opus 5 54%, GPT-5.5 50%, Claude Fable 5 49%
- pass@1 최고
- GPT-5.5(xhigh) 66%, Gemini 3.1 Pro Preview·Claude Opus 5(max) 각 64%
- 실패 분석
- 10개 모델의 실패 시도 1,567건을 7개 실패 유형으로 분류, 초기 가설 집착이 57%
- 비용 격차
- Claude Sonnet 4.6(max)와 MiMo-V2.5-Pro 모두 20%, 작업당 각 1.34달러·0.05달러
- 최고 비용 모델
- Claude Opus 4.7(max), 작업당 1.98달러
- 오픈 가중치 1위
- Kimi K3(max) 39%, 비공개 프런티어 대비 15점 차
같은 분석 과제를 다섯 번 시켰다. 네 번 맞히고 한 번 틀리면 그 문제는 0점이다. 독립 평가기관 Artificial Analysis가 새로 내놓은 벤치마크 AA-AnalystAgent의 채점 방식이다. 결과는 최상위권에서도 절반을 갓 넘겼다. Claude Opus 5가 54%로 1위, GPT-5.5가 50%, Claude Fable 5가 49%로 뒤를 이었다.
문제집이 아니라 실제 파일을 푸는 시험
지금까지의 언어모델 평가는 대체로 문제와 정답이 텍스트로 정해진 시험지였다. AA-AnalystAgent는 다르다. 실제 업무에서 쓰이는 스프레드시트와 문서를 던져주고, 모델이 도구를 써서 파일을 열고 숫자를 뽑아 계산까지 마쳐야 한다. 이런 '도구를 쓰는 시험'을 에이전트 벤치마크라 부른다.
Artificial Analysis는 이 과제를 만든 이유로 애널리스트 업무의 성격을 들었다. "실제 애널리스트 업무에서는 전문적 판단과 전문성도 그만큼 중요하다"는 것이 이들의 설명이다. 정답 하나를 맞히는 능력과, 남에게 넘겨도 되는 분석을 내놓는 능력은 다르다는 뜻이다.
| 모델 | 점수 | |
|---|---|---|
| Claude Opus 5 | 54% | |
| GPT-5.5 | 50% | |
| Claude Fable 5 | 49% | |
| Kimi K3 (max, 오픈 가중치 1위) | 39% |
순위를 가른 건 성능이 아니라 안정성
흥미로운 대목은 한 번에 맞히는 비율과 최종 순위가 어긋난다는 점이다. 단일 시도 정확도(pass@1)는 GPT-5.5(xhigh)가 66%로 가장 높았고, Gemini 3.1 Pro Preview와 Claude Opus 5(max)가 64%로 바짝 붙었다. 그런데 다섯 번 모두 성공해야 인정하는 pass^5 — 평가팀은 이를 'pass-all-5'라 부른다 — 에서는 Opus 5가 앞섰다. 잘하는 모델이 아니라 흔들리지 않는 모델이 위로 올라갔다.
| 지표 | 1위 | 수치 |
|---|---|---|
| pass@1 (한 번에 맞힐 확률) | GPT-5.5 (xhigh) | 66% |
| pass@1 공동 2위 | Gemini 3.1 Pro Preview / Claude Opus 5 (max) | 각 64% |
| pass^5 (5회 전부 성공) | Claude Opus 5 | 리더보드 선두 |
헤드라인 점수인 54%가 어떤 방식으로 합산된 값인지는 이번 발표 게시물에 담기지 않았다. 다만 pass@1과 최종 점수가 다르게 움직인다는 사실 자체가, 이 리더보드가 무엇을 재고 있는지를 보여준다.
실패의 57%는 '처음 세운 가설을 못 버려서'
평가팀은 10개 주요 모델의 실패한 시도 1,567건을 모아 일곱 가지 실패 유형으로 분류했다. 한 시도에 여러 유형을 중복으로 붙이는 방식이었다. 가장 흔한 유형은 초기에 세운 잘못된 가설에 계속 매달리는 것으로, 전체 실패의 57%에서 나타났다.
실무자라면 익숙한 장면이다. 데이터를 잘못 읽고 방향을 정한 뒤, 이후 모든 계산을 그 방향에 맞춰버리는 것. 사람 신입도 똑같이 한다. 문제는 사람은 중간에 "이상한데"라고 멈추는 반면, 모델은 그럴싸한 논리로 끝까지 밀고 간다는 데 있다.
같은 점수인데 비용은 27배
비용 축을 겹쳐 보면 그림이 또 달라진다. Claude Sonnet 4.6(max)와 MiMo-V2.5-Pro는 나란히 20%를 기록했는데, 작업당 비용은 각각 1.34달러와 0.05달러였다. 같은 결과를 27배 차이로 낸 셈이다. 최상위권에서도 마찬가지로, 가장 비싼 축인 Claude Opus 4.7(max)는 작업당 1.98달러가 들었다.
오픈 가중치 진영에서는 Kimi K3(max)가 39%로 출시 시점 1위에 올랐다. 비공개 프런티어 모델과의 격차는 15점, 함께 테스트된 다른 오픈 가중치 모델 8종을 모두 앞섰다. 그다음은 DeepSeek의 DeepSeek V4 Flash였다.
그래서 무엇이 달라지나
지난 8월 10일 Artificial Analysis는 개발자용 벤치마킹 제품군을 만들고 있다며 얼리 액세스 모집을 열었다. AA-AnalystAgent는 그 흐름 위에 놓인, 사무 업무를 그대로 시험지로 옮긴 평가다. 재무·회계·리서치처럼 스프레드시트가 곧 업무인 자리에 AI를 앉히려는 조직이라면, 이제 참고할 숫자가 하나 더 생겼다.
메시지는 단순하다. 지금 수준의 에이전트는 한 번은 그럴듯하게 해내지만 다섯 번 연속으로는 못 해낸다. 사람이 검토 없이 결과를 받아 쓰기엔 이르다는 뜻이다. 과제 실행에 쓰인 에이전트 하네스 — 모델이 파일을 열고 코드를 돌리도록 감싸주는 실행 껍데기 — Stirrup은 깃허브에 오픈소스로 공개돼, 같은 조건으로 직접 돌려보는 것도 가능하다. 평가를 남의 발표로만 믿지 않아도 되는 환경이 조금씩 늘고 있다.
