이미지: X — 뉴스 앰프 화면 갈무리
요약
- DeepSeek-V4-Pro-0813 GA 벤치마크가 X에 유출돼 에이전트 관련 평가에서 강세를 보였다
- Terminal Bench 2.1에서 87.9점을 받아 Opus-4.8(85.0)을 앞섰고 Kimi-K3(88.3)에는 근소하게 뒤졌다
- 가격 경쟁력을 앞세운 이번 GA는 지난 8월 12일 공개된 저가 요금표와 맞물려 오픈소스 진영의 추격을 보여준다
- 모델명
- DeepSeek-V4-Pro-0813 (GA)
- Terminal Bench 2.1
- 87.9점 (Kimi-K3 88.3 / Opus-4.8 85.0)
- HLE (with tools)
- 60.0점 (Opus-4.8 57.9)
- 비교 대상
- GLM-5.2, Kimi-K3, Opus-4.8
- 유출 경로
- X 계정 Chubby(@kimmonismus)
벤치마크부터 새어 나왔다
DeepSeek-V4-Pro-0813의 정식(GA) 버전 벤치마크 표가 정식 발표 전에 X(옛 트위터)를 통해 먼저 퍼졌다. 뉴스 계정 Chubby가 공유한 표에는 에이전트 관련 평가 10종의 점수가 담겼는데, Terminal Bench 2.1에서 87.9점을 받아 Opus-4.8(85.0점)을 앞섰다. 다만 오픈소스 경쟁 모델 Kimi-K3(88.3점)에는 근소하게 뒤졌다. 도구 사용을 포함한 HLE(Humanity's Last Exam) 점수는 60.0점으로 Opus-4.8의 57.9점보다 높았다. Chubby는 "딱히 나쁘지 않은 업그레이드지만 Opus 5가 아니라 4.8과 비교한 건 아쉽다"고 지적했다.
이게 무슨 얘긴가
딥시크는 지난 4월 V4 시리즈를 처음 공개한 뒤 프리뷰 단계를 거쳐 이번에 정식판으로 넘어왔다. 앞서 지난 8월 12일에는 이 모델의 API 요금표가 공개됐는데, 캐시 미스 기준 입력 100만 토큰당 0.435달러, 출력 0.87달러로 책정됐다. 같은 날 나온 비교 기사에서는 Grok 4.6(입력 2달러/출력 6달러)이나 Claude Opus 5(5달러/25달러), GPT-5.6 Sol(5달러/30달러)보다 딥시크 쪽이 더 낮은 가격을 매겼다는 사실도 드러났다. 즉 이번에 유출된 벤치마크는 성능만 놓고 봐도 최전선급 모델들과 겨룰 만하다는 걸 보여주는 동시에, 가격은 그보다 훨씬 낮다는 맥락 위에서 나온 결과다.
에이전트 벤치마크는 단순 질의응답이 아니라 코드를 짜고 터미널을 조작하고 여러 단계의 작업을 스스로 이어가는 능력을 측정한다. Toolathlon-Verified나 DSBench-FullStack 같은 항목이 대표적이다. 이 영역에서 딥시크가 Kimi-K3, GLM-5.2 같은 오픈소스 최전선 모델들과 비슷한 수준에 도달했다는 건, 폐쇄형 모델과의 격차뿐 아니라 오픈소스 진영 내부 경쟁도 그만큼 치열해졌다는 뜻이다.
그래서 뭐가 달라지나
비교 대상이 최신판 Opus 5가 아니라 한 세대 전인 Opus 4.8이라는 점은 이번 벤치마크의 한계로 지적된다. 그럼에도 낮은 가격에 준수한 에이전트 성능을 얹은 모델이 늘어나는 흐름은 분명하다. Together AI가 지난 8월 11일 DeepSeek V4 Flash 0731의 파인튜닝 지원을 시작한 것도 이런 흐름과 맞물려 있다. 개발자 입장에서는 최상위 폐쇄형 모델 대신 가격 대비 성능이 높은 오픈소스 모델로 에이전트 워크플로를 구축할 선택지가 하나 더 늘어난 셈이다.
