퍼셉션벤치

PerceptionBench는 AI 모델이 이미지를 얼마나 정확하게 보는지만 따로 측정하는 시험지다. 병원에서 받는 시력검사표를 떠올리면 된다. 시력검사는 지식이나 논리력을 묻지 않는다. 그냥 눈앞에 보이는 게 무엇인지 정확히 읽어내는지만 본다. PerceptionBench도 똑같다. 배경지식이나 복잡한 추론 없이, 그림만 보면 답이 나오는 문제들로 시계 바늘이 어디를 가리키는지, 상자 안 꽃이 몇 송이인지 같은 것을 묻는다.

이 시험지는 시각적 관계, 개수 세기, 속성, 깊이·입체감, 위치 파악, 비교, 세밀한 구별, 맥락 통합, 문자 인식, 환각까지 열 가지 영역으로 나뉜다. 기존에 흩어져 있던 다른 시각 인식 시험지 42개를 뜯어봤더니 서로 잡아내는 오류 유형이 거의 겹치지 않았고, 그래서 실제로 모델이 틀린 사례를 거꾸로 추적해 이 열 가지 영역을 새로 뽑아냈다.

결과는 예상 밖이었다. 가장 잘한다는 최신 모델 16개를 모아 테스트했는데도 60점을 넘긴 모델이 하나도 없었다. 1등도 59.7점에 그쳤다. 그동안 복잡한 문제를 틀렸을 때 흔히 '논리적으로 잘못 추론했다'고 설명했는데, 사실은 그림을 보는 첫 단계에서부터 잘못 봤던 경우가 많았다는 뜻이다.

기사는 이렇게 씁니다: "문샷 AI가 공개한 PerceptionBench 결과에서도 16개 프론티어 모델 중 순수 시각 인식 정확도 60%를 넘긴 모델이 하나도 없었고, 1위 모델도 59.7%에 그쳤다."

오해하기 쉬운 점: 이 결과가 'AI가 사물을 전혀 못 알아본다'는 뜻은 아닙니다. 시계 바늘이나 개수 세기처럼 사람에게는 쉬운 세밀한 시각 문제에서 막힌다는 것이고, 그동안 '추론 실패'로 여겨졌던 오답 중 상당수가 실은 처음 보는 단계의 착오였다는 점을 드러낸 것입니다.

직접 확인해보고 싶다면 이미지를 하나 준비해 AI 챗봇에게 다음을 순서대로 물어보자.

1. 이미지 속 특정 물체의 개수를 정확히 세어달라고 요청한다 (예: "이 사진에서 빨간 상자 안에 있는 꽃이 몇 송이인지 세어줘").
2. 같은 이미지를 놓고 두 물체의 크기나 위치를 비교해달라고 묻는다.
3. 시계나 계기판이 있는 이미지라면 바늘이 정확히 어디를 가리키는지 물어본다.

답이 틀렸다면, 그 답이 논리적으로 이상해서가 아니라 이미지 자체를 잘못 읽어서 틀렸는지 다시 확인해보자. PerceptionBench가 짚은 지점이 바로 여기다.