이미지: X — 벤치마크·평가 화면 갈무리
요약
- 업스테이지가 자체 플래그십 추론 모델 Solar Pro 4를 내놨고, Artificial Analysis Intelligence Index에서 42점을 받아 지난 4월 Solar Pro 3의 14점에서 크게 올랐다.
- 실무형 과제 벤치마크 GDPval-AA v2에서 Elo 1276을 기록해 인간 기준선 1000을 넘었고, 전작(498)과는 778점 차다.
- 지식 신뢰도 지표 AA-Omniscience는 -53에서 -1로 개선됐지만, 개선분의 상당 부분은 아는 것을 더 맞혀서가 아니라 질문에 답을 덜 시도한 결과였다.
- 모델
- Solar Pro 4 (업스테이지, 자체 개발 비공개 플래그십 추론 모델)
- Artificial Analysis Intelligence Index
- 42점 (Solar Pro 3은 14점)
- 전작
- 2026년 4월 공개된 Solar Pro 3을 대체
- GDPval-AA v2 Elo
- 1276 (Solar Pro 3은 498, 인간 기준선 1000)
- AA-Omniscience Index
- -1 (Solar Pro 3은 -53)
- 응답 시도율·환각률
- 시도율 41%(전작 92%), 환각률 24%(전작 88%)
- 과제당 출력 토큰
- 43k (전작 52k, 약 17% 감소)
- 과제당 소요 시간
- 9.5분 (전작 6.9분)
숫자 하나만 보면 이 발표의 성격이 드러난다. 498에서 1276. 업스테이지의 새 플래그십 모델 Solar Pro 4가 실무형 과제 벤치마크에서 전작보다 778점 높은 Elo를 받았다. 같은 회사가 넉 달 전 내놓은 모델과의 격차치고는 이례적으로 크다.
14에서 42로
평가는 독립 벤치마크 기관 Artificial Analysis가 진행했다. 이 기관은 여러 하위 시험을 묶어 하나의 Intelligence Index로 환산하는데, Solar Pro 4는 42점을 받았다. 2026년 4월 공개된 Solar Pro 3의 14점에서 세 배다. Solar Pro 4는 업스테이지의 새 자체(비공개) 플래그십 추론 모델로, 전작을 대체한다.
비교 기준을 잡아두면 감이 온다. 같은 지수에서 xAI의 Grok 4.6은 61점, GPT-5.6 Sol과 동급 최상위권이다. 42점은 프론티어 최상단은 아니지만, 국내 연구실이 한 세대에서 뛴 폭이 프론티어 랩의 세대 간 상승폭(Grok 4.5→4.6이 +5점)보다 훨씬 크다는 점이 눈에 띈다.
인간 기준선을 넘긴 실무 과제
가장 큰 개선은 '에이전트형 실무'에서 나왔다. GDPval-AA v2는 실제 직무에서 나오는 업무 과제를 모델에게 시키고, 사람의 수행 수준을 Elo 1000으로 고정해 비교하는 시험이다. Solar Pro 4는 1276을 받아 이 기준선 위로 올라갔다. Artificial Analysis는 MiMo-V2.5-Pro(1266)보다 약간 앞선다고 설명했다. 함께 언급된 Qwen 계열 모델의 경우 게시글 본문은 Qwen3.7 Max를 1272로 적었는데, 첨부된 리더보드 표에는 Qwen3.8 Max가 1737로 올라 있어 서로 다른 버전을 가리키는 것으로 보인다.
| 모델 | GDPval-AA v2 Elo | |
|---|---|---|
| Claude Opus 5 (max) | 1849 | 100 |
| Grok 4.6 (high) | 1753 | 95 |
| GPT-5.6 Sol (max) | 1728 | 93 |
| Gemini 3.6 Flash | 1422 | 77 |
| Solar Pro 4 | 1276 | 69 |
| MiMo-V2.5-Pro | 1266 | 68 |
| 인간 기준선 | 1000 | 54 |
| Solar Pro 3 | 498 | 27 |
환각은 줄었지만, 답을 덜 했다
두 번째 지표는 해석이 필요하다. AA-Omniscience는 모델이 아는 것과 모르는 것을 구분하는 능력을 재는 지수다. 정답에 가점, 틀린 답을 자신 있게 내놓는 환각에 감점을 주고, 답하지 않으면 감점하지 않는다. Solar Pro 4는 -53에서 -1로 올랐다.
다만 Artificial Analysis는 그 개선이 지식이 아니라 '답을 안 하는 쪽'에서 왔다고 짚었다. 전작이 질문의 92%에 답을 시도한 반면 Solar Pro 4는 41%만 시도했다. 그 결과 환각률은 88%에서 24%로 떨어졌다. 틀릴 것 같으면 입을 다무는 쪽으로 학습된 셈이다. 신뢰성 측면에서는 분명한 진전이지만, 아는 범위 자체가 넓어졌다는 근거로 읽기는 어렵다.
| 항목 | Solar Pro 3 | Solar Pro 4 |
|---|---|---|
| AA-Omniscience Index | -53 | -1 |
| 응답 시도율 | 92% | 41% |
| 환각률 | 88% | 24% |
말은 줄었는데 시간은 늘었다
효율 지표는 엇갈렸다. 과제 하나를 푸는 데 쓰는 출력 토큰은 52k에서 43k로 약 17% 줄었다. 그럼에도 Artificial Analysis는 같은 지능 수준의 다른 모델들과 비교하면 여전히 말이 길다고 평가했다. 더 눈에 걸리는 쪽은 시간이다. 토큰을 덜 쓰면서도 과제당 소요 시간은 6.9분에서 9.5분으로 늘었다. 추론 모델은 답을 내기 전 내부적으로 생각을 길게 굴리는데, 그 과정이 무거워졌다는 뜻으로 보인다.
그래서 무엇이 달라지나
국내 연구실의 자체 모델이 독립 평가 기관의 실무형 리더보드에서 인간 기준선 위로 올라간 사례가 생겼다. 점수 42는 Claude Opus 5나 GPT-5.6 계열과 겨루는 자리가 아니지만, 전작과의 격차가 그만큼 크다는 것은 한 세대 만에 추론 훈련 방식을 크게 바꿨다는 신호다. 실무자 관점에서 더 중요한 변화는 성격이다. 환각률 88%짜리 모델은 문서 요약이나 사내 질의응답에 쓰기 어렵다. 24%로 내려온 모델은 '틀린 답 대신 답을 안 하는' 방향이라 최소한 검토 비용이 줄어든다. 대신 절반 이상의 질문에서 답을 받지 못할 수 있고, 응답을 기다리는 시간은 전작보다 길어졌다. 어떤 업무에 붙일지는 이 두 성질을 감안해 갈라야 한다.
