BrowseComp

브라우즈컴프는 AI가 인터넷을 뒤져서 답을 찾아내는 능력만 따로 떼어 시험하는 문제집이다. 문제 하나하나가 검색창에 한 번 쳐서는 답이 안 나오도록, 여러 페이지를 넘나들며 단서를 짜맞춰야 겨우 풀리게 만들어져 있다. 그래서 이 시험 점수가 높다는 건 그 AI가 검색과 읽기를 몇 번이고 반복하며 필요한 정보를 끈질기게 찾아내는 데 능하다는 뜻이다.

비유하자면 도서관 사서에게 "이 책 어디 있어요"라고 묻는 시험이 아니라, 힌트 몇 개만 들고 서가를 직접 돌아다니며 답을 알아내야 하는 시험에 가깝다. 요즘은 AI가 스스로 검색하고 문서를 뒤지며 작업을 처리하는 시스템(에이전트)이 늘면서, 이런 시스템의 검색 실력을 서로 비교할 때 자주 등장하는 잣대가 됐다.

기사에서는 "포터블 컴퓨터는 브라우즈컴프 1,266개 과제에서 66.7%를 기록해 Pi(50.2%)와 헤르메스(43.9%)를 앞섰고"처럼, 서로 다른 AI 시스템의 검색·조사 능력을 점수로 비교하는 데 쓰인다. 오해하기 쉬운 점은 브라우즈컴프가 특정 회사의 AI 제품 이름이 아니라, 누구나 자기 AI를 붙여 채점해볼 수 있는 문제 모음이라는 것이다.

검색 기능이 켜진 AI 챗봇에 한 번의 검색으로는 답이 안 나오는 질문을 던져보면 브라우즈컴프가 재는 능력을 체감할 수 있다. 예를 들어 이렇게 물어보자: "2020년 이후 노벨 물리학상을 받은 사람 중, 수상 전에 물리학이 아닌 다른 분야에서 학위를 받은 사람은 누구야?" 이런 질문은 한 번의 검색으로 풀리지 않고, 여러 자료를 오가며 단서를 맞춰야 답이 나온다.