AA-애널리스트에이전트

AA-애널리스트에이전트는 AI에게 실제 회사에서 쓰는 것 같은 스프레드시트와 문서를 던져주고, 정말로 파일을 열어 숫자를 뽑고 계산까지 마칠 수 있는지 시험하는 평가 도구다. 벤치마크 전문 기관 Artificial Analysis가 만들었다.

비유하자면 신입 애널리스트에게 진짜 회사 엑셀 파일을 주고 "이 숫자 찾아서 계산해오세요"라고 시키는 시험과 같다. 문제집처럼 정해진 텍스트 질문에 답하는 게 아니라, 도구를 직접 써서 파일을 열고 뒤져야 한다는 점이 다르다. 게다가 이 시험은 같은 문제를 다섯 번 풀게 해서, 단 한 번이라도 틀리면 그 문제 전체를 탈락 처리한다. 어쩌다 한 번 잘 맞히는 것보다 매번 흔들리지 않고 맞히는지를 더 중요하게 보는 방식이다.

실제 결과를 보면 종합 지능 점수가 높은 모델이 이 시험에서도 1등을 하는 건 아니었다. 어떤 모델은 단번에 맞히는 확률은 높지만 다섯 번 반복하면 흔들렸고, 오히려 꾸준한 모델이 최종 순위에서 앞섰다. 실제 업무에서 필요한 건 재치 있는 한 번의 정답이 아니라 남에게 넘겨도 되는 믿을 수 있는 분석이라는 점을 이 시험이 보여준다.

기사에서는 "AA-AnalystAgent에서 pass^5 기준 60%로 1위", "Claude Opus 5가 54%로 선두"처럼 특정 점수와 순위로 언급된다. 여기서 오해하기 쉬운 지점은, 이 점수가 모델의 종합 지능 순위와 똑같이 움직이지 않는다는 것이다. 종합 지능지수(Intelligence Index)에서 뒤처진 모델이 이 스프레드시트 분석 시험에서는 앞설 수도 있다.

스프레드시트나 표 형태 데이터를 하나 골라, AI 챗봇에게 같은 분석 질문을 서로 다른 대화창에서 다섯 번 따로 던져보세요. 다섯 번의 답과 계산 과정이 매번 똑같이 나오는지 비교해 보면, 이 시험이 왜 '한 번 맞히는 능력'과 '항상 맞히는 능력'을 따로 채점하는지 체감할 수 있습니다.