olmOCR-Bench

olmOCR-Bench는 AI가 문서를 얼마나 잘 '읽는지' 시험하는 채점표다. 스캔한 신문 기사처럼 여러 단으로 나뉜 지면, 숫자가 빼곡한 표, 알아보기 힘든 손글씨, 그래프 밑에 붙은 설명 캡션 같은 까다로운 문서들을 모아놓고, AI가 이를 텍스트로 얼마나 정확히 옮기는지 점수를 매긴다.

사람도 흘려 쓴 글씨나 복잡한 표 앞에서는 눈이 침침해지는데, AI 역시 마찬가지다. 겉보기엔 비슷한 문서 인식 능력이라도 모델마다 표를 헷갈리거나 캡션을 놓치는 정도가 다르기 때문에, 이런 공통 시험지를 두고 여러 모델을 같은 기준으로 나란히 비교하는 것이다.

앨런AI연구소(Ai2)가 만든 이 벤치마크는 허깅페이스(Hugging Face) 허브의 기본 문서 인식 평가 도구로 채택되어, 리더보드 형태로 누구나 여러 모델의 문서 이해 성능을 한눈에 비교할 수 있게 됐다.

기사에서는 "olmOCR-Bench는 문서 안의 다단 레이아웃, 표, 손글씨, 캡션이 달린 차트를 모델이 얼마나 잘 읽어내는지 평가하는 벤치마크"라고 설명한다. 여기서 흔한 오해는 이것이 하나의 'OCR 프로그램'이라는 생각인데, 실제로는 특정 제품이 아니라 여러 AI 모델의 문서 인식 실력을 비교하기 위한 시험 세트이자 채점 기준에 가깝다.

허깅페이스 허브에서 olmOCR-Bench 리더보드를 검색해 보면, 여러 문서 인식 모델의 점수를 표 형태로 비교해 볼 수 있다. 어떤 모델이 표 인식에서 강한지, 손글씨 인식에서 약한지 등 항목별 세부 결과까지 확인할 수 있다.