이미지: @perplexity_ai (X) 화면 갈무리
요약
- 퍼플렉시티가 로컬 에이전트 '포터블 컴퓨터'의 27B 온디바이스 모델과 전용 하네스 조합이 지식노동 벤치마크에서 오픈소스 하네스 Pi·헤르메스를 앞섰다고 밝혔어요
- 웹 검색(BrowseComp)과 문서 파싱(ParseBench-100)에서도 더 적은 시간과 토큰으로 더 높은 점수를 냈고, 검색을 뺀 나머지는 전부 기기 안에서 처리된다고 설명해요
- 필요할 때만 사용자 승인을 거쳐 프런티어 모델에 텍스트 조언을 구하는 방식으로 Terminal Bench 2.1 점수를 59.6%에서 73.0%까지 끌어올렸다고 소개했어요
- 발표
- Perplexity, 2026-08-25 (X 리서치 스레드)
- 로컬 지식노동 벤치마크
- 포터블 컴퓨터+PPLX 27B 85.4% · +큐원3.8 27B 82.6% / Pi+큐원3.8 27B 77.6% / 헤르메스+큐원3.8 27B 74.0%
- BrowseComp (1,266개 과제)
- 포터블 컴퓨터 66.7% vs Pi 50.2%, 헤르메스 43.9%
- ParseBench-100 (문서 OCR)
- 포터블 컴퓨터 65.1% vs 헤르메스 34.6%, Pi 13.9%
- 프런티어 에스컬레이션 (Terminal Bench 2.1)
- 59.6% → 73.0%, 롤아웃당 0.415달러
- 하네스 구성
- 최소 시스템 프롬프트·온디맨드 스킬·CLI 커넥터(비 MCP)·자체검증·상시 샌드박스
- PPLX 27B 후처리 학습
- 하네스 안에서 실사용 패턴 기반 합성 과제로 학습, 실사용자 데이터 미사용
오픈소스 하네스를 이긴 로컬 에이전트
퍼플렉시티가 8월 25일 퍼플렉시티, DGX Spark서 클라우드 없이 도는 에이전트로 공개했던 완전 로컬 에이전트 '포터블 컴퓨터'를 두고, 같은 날 별도의 리서치 스레드로 세부 벤치마크를 내놨어요. 핵심은 27B급 온디바이스 모델과 전용 하네스—모델이 도구를 언제 어떻게 쓸지 통제하는 실행 틀—를 함께 설계했더니 실제 지식노동 과제에서 오픈소스 경쟁 하네스인 Pi와 노어스 리서치의 헤르메스(Hermes)를 앞섰다는 내용이에요. 퍼플렉시티는 "작은 모델은 프런티어용 하네스에서 실패한다"고 설명하며, 모델 크기에 맞춰 하네스 자체를 다시 짰다고 밝혔어요.
같은 모델인데 하네스가 다르면 점수가 갈렸다
53개 과제를 각 3회씩, 총 159롤아웃으로 돌린 'Local Knowledge Work Bench' 시험 결과가 눈에 띄어요. 세 하네스 모두 같은 큐원(Qwen)3.8 27B 모델을 썼는데도 점수가 크게 갈렸어요.
| 하네스 + 모델 | 점수 |
|---|---|
| 포터블 컴퓨터 + PPLX 27B (후처리 학습) | 85.4% |
| 포터블 컴퓨터 + 큐원3.8 27B | 82.6% |
| Pi + 큐원3.8 27B | 77.6% |
| 헤르메스 + 큐원3.8 27B | 74.0% |
같은 모델을 넣어도 하네스 설계에 따라 최대 8.6%포인트 차이가 났고, 여기에 목적에 맞춰 후처리 학습한 PPLX 27B를 얹으면 85.4%까지 올라간다는 게 퍼플렉시티 쪽 설명이에요.
검색은 밖에서, 나머지는 안에서
웹 검색 능력을 재는 BrowseComp 1,266개 과제에서 포터블 컴퓨터는 66.7%를 기록해 Pi(50.2%)와 헤르메스(43.9%)를 앞섰고, 평균 소요 시간도 약 400초로 Pi(약 800초)나 헤르메스(약 1,000초)보다 짧았어요. 사용한 토큰 수도 852k로 Pi의 2.82M, 헤르메스의 1.01M보다 적었고요. 문서를 읽는 ParseBench-100에서는 포터블 컴퓨터가 65.1%로, 헤르메스(34.6%)와 Pi(13.9%)를 크게 앞섰는데, 이 과정은 전부 기기 안에서 처리돼 문서가 밖으로 나가지 않는다고 설명해요. 추론과 개인 문서는 로컬에 남고, 검색만 웹에 닿는 구조예요.
| 벤치마크 | 포터블 컴퓨터 | Pi | 헤르메스 |
|---|---|---|---|
| BrowseComp (1,266개 과제) | 66.7% | 50.2% | 43.9% |
| ParseBench-100 (문서 OCR) | 65.1% | 13.9% | 34.6% |
막힐 땐 프런티어 모델에 텍스트로만 물어본다
로컬 모델이 혼자 못 푸는 문제는 사용자 승인을 거쳐 프런티어 모델에 조언을 구할 수 있어요. 개인정보가 있으면 표시되고, 프런티어 모델은 파일이나 도구에 직접 접근하지 못한 채 텍스트 안내만 돌려준다고 해요. 이 에스컬레이션을 켰을 때 Terminal Bench 2.1 점수가 59.6%에서 73.0%로 올랐고, 비용은 롤아웃당 0.415달러였어요. 퍼플렉시티는 이를 두고 프런티어 모델과의 격차 중 약 5분의 3을 3분의 2 비용으로 메운 셈이라고 설명했어요.
모델과 하네스를 같이 만든 이유
포터블의 실행 틀은 최소한의 시스템 프롬프트, 필요할 때만 불러오는 스킬, MCP 서버 대신 가벼운 CLI 도구로 만든 커넥터, 모델 스스로 결과를 점검하는 자체검증, 상시 켜진 샌드박스로 짜여 있어요. PPLX 27B는 이 하네스 안에서 실제 사용 패턴을 본떠 만든 합성 과제로 후처리 학습했고, 실사용자 데이터는 쓰지 않았다고 밝혔어요. 퍼플렉시티는 모델·칩·기기의 발전이 계속되면 로컬 우선 방식의 성능도 함께 좋아질 거라며, 이번에 쓴 벤치마크를 곧 공개하겠다고 예고했어요.
포터블 컴퓨터는 NVIDIA DGX Spark 위에서 돌아가는 완전 로컬 버전으로, 앞서 다룬 기사에서 확인했듯 Perplexity Pro와 Max 구독자가 쓸 수 있어요. 이번 리서치는 그 성능을 뒷받침하는 세부 수치를 채운 셈이에요.
에디터의 시선
퍼플렉시티가 굳이 같은 모델(큐원3.8 27B)을 세 개 하네스에 돌려 비교한 건 메시지가 명확해요 — "모델보다 하네스가 성능을 가른다"는 걸 숫자로 증명하려는 거예요. 이건 오픈소스 진영의 Pi나 노어스 리서치 헤르메스를 직접 겨냥한 비교이기도 해서, 로컬 에이전트 경쟁이 모델 크기 싸움에서 실행 틀 설계 싸움으로 옮겨가고 있다는 신호로 읽혀요. 최근 엔비디아가 퍼플렉시티에 300억 달러대 밸류에이션으로 투자를 협상 중이라는 소식과 겹쳐 보면, DGX Spark라는 특정 하드웨어에 최적화된 하네스를 만든 배경도 짐작이 가요.
27B급 모델을 실무에 붙여 보면 늘 비슷한 벽에 부딪혀요 — 클라우드 프런티어 모델만큼 똑똑하진 않은데, 도구 호출이 조금만 복잡해져도 헤매기 시작하죠. 포터블 컴퓨터가 보여준 건 모델을 키우는 대신 하네스를 모델 크기에 맞춰 다시 짜는 접근이고, 여기에 필요할 때만 프런티어 모델에 텍스트로 묻는 에스컬레이션까지 더하니 격차의 상당 부분을 훨씬 싼값에 메웠어요. 문서를 통째로 클라우드에 올리기 꺼려지는 법무팀이나 의료팀이라면, 이런 구조가 클라우드 에이전트의 대안이 될 수 있어요.
다만 이 모든 수치는 DGX Spark라는 특정 하드웨어 위에서 나온 결과라, 일반 노트북이나 스마트폰에서 같은 성능이 나올지는 다른 문제예요. 벤치마크를 곧 공개하겠다고 한 만큼, 다음 몇 주 안에 외부 개발자들이 직접 재현해보며 이 수치를 검증하는 흐름이 이어질 걸로 봐요.
댓글