로컬 놀리지 워크 벤치

로컬 놀리지 워크 벤치는 퍼플렉시티가 만든 시험지예요. 인터넷에 연결하지 않고 기기 안에서만 도는 AI 에이전트가 계약서를 읽거나 자료를 정리하는 것 같은 실제 사무 업무를 얼마나 잘 해내는지 재는 용도로, 53가지 과제를 각각 세 번씩 총 159번 돌려 점수를 매겨요.

같은 재료로 요리해도 요리사가 다르면 맛이 갈리듯, 이 시험은 모델 하나는 고정해 두고 그 모델을 감싸서 도구를 쓰게 만드는 실행 프로그램(하네스)만 바꿔가며 결과를 비교해요. 실제로 큐원3.8 27B라는 같은 모델을 썼는데도, 퍼플렉시티 자체 실행 프로그램을 쓰면 82.6점, 경쟁 프로그램인 Pi를 쓰면 77.6점, 헤르메스를 쓰면 74.0점으로 크게 갈렸어요. 여기에 목적에 맞게 별도로 손질한 모델까지 얹으면 85.4점까지 올랐고요.

이 시험은 퍼플렉시티가 자사 로컬 에이전트 '포터블 컴퓨터'를 소개하며 함께 내놓은 것이에요. 그러니 독립된 제3자가 매긴 점수가 아니라, 자기 제품을 자기가 만든 기준으로 평가한 결과라는 점은 감안해서 봐야 해요.

기사에서는 '같은 하네스인데 모델이 다르면 점수가 갈렸다'는 식으로 로컬 놀리지 워크 벤치 표를 인용해요. 오해하기 쉬운 점은 이게 외부 기관이 검증한 독립 시험이 아니라, 퍼플렉시티가 자사 로컬 에이전트를 발표하며 같은 날 함께 공개한 자체 벤치마크라는 거예요.