문서 파싱 벤치마크

문서 파싱 벤치마크(ParseBench-100)는 AI가 스캔된 문서나 이미지 속 글자를 얼마나 잘 읽어내는지 재는 시험이에요. 사람이 눈으로 서류를 읽듯, AI에게 문서를 주고 그 안의 글자와 표를 제대로 뽑아내는지 채점하는 거예요.

같은 시험이라도 AI를 둘러싼 실행 틀이 다르면 점수가 크게 갈릴 수 있어요. 문서를 잘게 나눠서 읽게 하는지, 표와 그림을 따로 처리하는지 같은 설계 차이가 점수에 그대로 드러나기 때문이에요. 이 시험은 특히 문서가 컴퓨터 밖으로 나가지 않고 기기 안에서 처리되는지도 함께 살펴보는 용도로 쓰였어요.

기사는 "문서를 읽는 ParseBench-100에서는 포터블 컴퓨터가 65.1%로, 헤르메스(34.6%)와 Pi(13.9%)를 크게 앞섰는데, 이 과정은 전부 기기 안에서 처리돼 문서가 밖으로 나가지 않는다"고 전해요. 여기서 오해하기 쉬운 점은 점수 차이가 AI 모델 자체의 성능 차이라고 생각하기 쉽지만, 실제로는 같은 모델이라도 이를 다루는 실행 틀 설계에 따라 점수가 크게 달라진다는 거예요.