이미지: Qwen 공식 발표 갈무리
요약
- 알리바바 큐원이 8월 14일 Qwen3.8-27B 가중치를 허깅페이스에 아파치 2.0으로 공개했다.
- 27B 덴스에 비전 인코더를 얹었고 컨텍스트는 26만 2,144토큰, YaRN 설정으로 100만까지 늘어난다.
- 4비트 GGUF가 17.9GB라 24GB급 그래픽카드 한 장에 들어가며, 공식 비교표에서는 클로드 오퍼스 4.6 맥스를 여러 항목에서 앞섰다.
알리바바 큐원(Qwen)이 8월 14일 Qwen3.8-27B의 가중치를 허깅페이스에 올렸다. 저장소에 라이선스 파일이 붙은 건 같은 날 오후(한국시간)이고, 내용은 아파치 2.0 — 상업적 사용에 사용자 수 제한도, 로열티도 없는 가장 느슨한 쪽이다.
큐원은 공식 계정에서 "27B 파라미터만으로 큐원3.7-플러스를 전반적으로 앞서고, 실무 코딩과 사무 업무에서 특히 강하다"고 밝혔다. 컨텍스트는 26만 2,144토큰이 기본, 설정을 바꾸면 100만까지 늘어난다.
주목할 건 점수보다 크기다. 4비트로 줄이면 17.9GB — RTX 4090이나 5090 한 장, 통합 메모리 24GB 맥에 그대로 들어간다. 2주 전 헤드라인을 가져간 큐원3.8-맥스가 2.4조 파라미터에 H100 여러 장을 요구했던 걸 생각하면, 실제로 만질 수 있는 쪽은 이쪽이다.
27B인데 왜 이 점수가 나오나
구조가 특이하다. 64개 레이어가 16번 반복되는 4층 블록으로 짜여 있는데, 그 블록이 「게이티드 델타넷(Gated DeltaNet) 3개 + 게이티드 어텐션 1개」다. 셋은 선형 어텐션 계열이고, 넷째 하나만 우리가 아는 전체 어텐션이다.
회의를 떠올리면 쉽다. 참석자 셋은 회의록을 요약해 머릿속에 들고 다니고, 넷째 한 사람만 필요할 때 원본 서류함을 통째로 뒤진다. 서류함을 뒤지는 사람이 넷 중 하나뿐이라 26만 토큰을 물려도 메모리가 폭발하지 않는다.
히든 차원 5,120, FFN 중간 차원 17,408, 토큰 임베딩 24만 8,320개. 게이티드 어텐션은 Q 헤드 24개에 KV 헤드 4개뿐이라 캐시가 가볍다. 여기에 비전 인코더가 붙어 이미지와 영상을 함께 읽는다.
공식 표에서 오퍼스 4.6 맥스와 붙었다
큐원이 모델 카드에 직접 실은 비교표에 전작 큐원3.6-27B, 상위 API 모델 큐원3.7-플러스, 그리고 클로드 오퍼스 4.6 맥스가 나란히 올라 있다. 27B짜리가 프런티어 폐쇄형 모델과 같은 표에 들어간 것 자체가 이번 공개의 메시지다. 아래가 큐원이 발표와 함께 공개한 원본 표다.
| 항목 | Qwen3.8-27B | Qwen3.6-27B | Qwen3.7-Plus | Opus 4.6 Max |
|---|---|---|---|---|
| 에이전틱 코딩 (SWE-bench Pro) | 61.7 | 53.5 | 57.6 | 53.4 |
| 에이전틱 코딩 (DeepSWE 1.1) | 42.2 | 13.3 | 14.2 | — |
| 터미널 코딩 (Terminal Bench 2.1) | 73.0 | 63.4 | 64.0 | 78.2 |
| 장기 사무 업무 (CoWorkBench) | 70.7 | 61.0 | 65.1 | 68.2 |
| 지시 따르기 (IFBench) | 79.5 | 69.1 | 79.1 | 62.5 |
| 과학 추론 (GPQA Diamond) | 89.2 | 87.8 | 90.3 | 91.3 |
| 종합 난제 추론 (HLE) | 30.8 | 24.0 | 34.7 | 40.0 |
멀티모달 격차는 더 크다. 컴퓨터 조작(OSWorld-Verified) 84.3 대 72.7, 모바일 조작(AndroidWorld) 81.9 대 62.0이다.
다만 이 표는 판매자가 만든 표다. 함께 실린 QwenSWEBench(79.0)는 큐원이 직접 만든 벤치마크이고, 비교 대상 오퍼스 4.6 맥스는 앤트로픽이 7월 24일 오퍼스 5를 내놓은 뒤의 한 세대 전 모델이다. 비전 항목의 격차도 비전 인코더를 얹은 모델과 텍스트 중심 모델을 같은 자로 잰 결과에 가깝다.
그래도 남는 건 있다. 가장 어려운 추론과 터미널 코딩에서는 여전히 밀리지만, 실무 코딩과 사무 자동화 구간에서 27B가 프런티어와 같은 눈금 위에 올라섰다.
서버로 띄우기 — 커맨드와 100만 컨텍스트
모델 카드가 권하는 스택은 vLLM·SGLang·토큰스피드다. 명령은 아래가 전부다.
# vLLM (가장 무난한 기본값)
pip install vllm
vllm serve Qwen/Qwen3.8-27B
# SGLang — 시스템 프롬프트가 고정된 워크로드에서 더 빠르다
python3 -m sglang.launch_server \
--model-path Qwen/Qwen3.8-27B --host 0.0.0.0 --port 30000
# VRAM이 빠듯하면 공식 FP8 변형 (블록 128 파인그레인드 양자화)
vllm serve "Qwen/Qwen3.8-27B-FP8"
# 도커 한 줄
docker model run hf.co/Qwen/Qwen3.8-27B
26만 2,144토큰을 넘겨 쓰려면 config.json에 YaRN 스케일링을 넣는다. 아래가 모델 카드에 실린 설정 전문이다.
{
"rope_parameters": {
"mrope_interleaved": true,
"mrope_section": [11, 11, 10],
"rope_type": "yarn",
"rope_theta": 10000000,
"partial_rotary_factor": 0.25,
"factor": 4.0,
"original_max_position_embeddings": 262144
}
}
VLLM_ALLOW_LONG_MAX_MODEL_LEN=1 vllm serve Qwen/Qwen3.8-27B --max-model-len 1000000
SGLANG_ALLOW_OVERWRITE_LONGER_CONTEXT_LEN=1 python3 -m sglang.launch_server \
--model-path Qwen/Qwen3.8-27B --context-length 1000000
노트북에서 돌리기 — GGUF 21종 실측 용량
언슬로스(Unsloth) GGUF 저장소에 21개 파일이 올라와 있다. 아래가 실제 파일 크기 전량이다. 사진을 JPEG로 저장할 때 품질 슬라이더를 내리는 것과 같다 — 내릴수록 가벼워지고, 어느 지점부터 눈에 띄게 상한다.
| 파일 | 크기 | 파일 | 크기 |
|---|---|---|---|
| UD-IQ2_XXS | 9.01 GB | Q4_K_M | 17.1 GB |
| UD-IQ2_M | 10.3 GB | Q4_1 | 17.5 GB |
| UD-Q2_K_XL | 10.7 GB | UD-Q4_K_XL | 17.9 GB |
| UD-IQ3_XXS | 11.9 GB | Q5_K_S | 19.3 GB |
| Q3_K_S | 12.6 GB | Q5_K_M | 19.8 GB |
| UD-Q3_K_XL | 13.4 GB | UD-Q5_K_XL | 20.2 GB |
| Q3_K_M | 13.8 GB | Q6_K | 22.9 GB |
| IQ4_XS | 15.7 GB | UD-Q6_K_XL | 25.9 GB |
| Q4_0 | 16.1 GB | Q8_0 | 29 GB |
| Q4_K_S | 16.1 GB | UD-Q8_K_XL | 31.5 GB |
| IQ4_NL | 16.3 GB | BF16(원본) | 56 GB |
./llama.cpp/llama-cli \
--model unsloth/Qwen3.8-27B-GGUF/Qwen3.8-27B-UD-Q4_K_XL.gguf \
--temp 1.0 --top-p 0.95 --top-k 20 --min-p 0.0
함정 하나. 가중치를 줄여도 KV 캐시는 줄지 않는다. 4비트로 눌러 15GB로 만들어 놓고도 컨텍스트를 길게 잡으면 캐시가 10GB 넘게 따로 붙는다. 서류를 반으로 접어도 펼쳐 놓은 책상은 그대로인 것과 같다. 대부분의 스택이 KV 캐시 FP8 양자화를 지원하니 그 옵션부터 켜는 게 순서다.
사고 모드 스위치와 권장 샘플링
기본이 사고(thinking) 모드다. 답하기 전에 추론을 먼저 쓰고, 요청 단위로 끌 수 있다. reasoning_effort(xhigh/medium/low)로 깊이를 조절하고, preserve_thinking으로 여러 턴에 걸쳐 추론 블록을 유지한다.
completion = client.chat.completions.create(
model="Qwen/Qwen3.8-27B", messages=messages,
extra_body={"chat_template_kwargs": {
"enable_thinking": True, "preserve_thinking": True}},
reasoning_effort="xhigh",
)
# 사고 모드를 끄고 즉답만 받을 때
chat_response = client.chat.completions.create(
model="Qwen/Qwen3.8-27B", messages=messages,
temperature=0.7, top_p=0.8, presence_penalty=1.5,
extra_body={"top_k": 20,
"chat_template_kwargs": {"enable_thinking": False}},
)
권장 샘플링 값은 모드별로 다르다. 기본값을 그대로 쓰면 사고 모드에서 답이 산만해진다.
| 파라미터 | 사고 모드 | 즉답(instruct) 모드 |
|---|---|---|
| temperature | 1.0 | 0.7 |
| top_p | 0.95 | 0.80 |
| top_k | 20 | 20 |
| min_p | 0.0 | 0.0 |
| presence_penalty | 0.0 | 1.5 |
이미지·영상도 같은 엔드포인트로 들어간다. content에 {"type": "image_url", ...}나 {"type": "video_url", ...}를 넣으면 되고, 모델 카드는 시간 단위 영상까지 프레임 샘플링으로 처리한다고 적었다.
한 장으로 정리하면
| 항목 | 값 |
|---|---|
| 저장소 | Qwen/Qwen3.8-27B · FP8 Qwen/Qwen3.8-27B-FP8 |
| 라이선스 | 아파치 2.0 (사용자 수 제한·로열티 없음) |
| 구조 | 27B 덴스 + 비전 인코더 · 64레이어 · 히든 5,120 |
| 어텐션 | 게이티드 델타넷 3 : 게이티드 어텐션 1 반복 |
| 컨텍스트 | 26만 2,144 기본 / YaRN으로 100만 |
| 최소 실행 | 4비트 GGUF 17.9GB — 24GB급 GPU 또는 맥 |
| 기본 모드 | 사고 모드 ON (enable_thinking으로 토글) |
에디터의 시선
작년 이맘때 27B급 오픈 모델을 실무에 붙여 보면 결론이 늘 같았다. 요약·분류·추출은 쓸 만한데, 도구를 여러 번 호출하며 스스로 판단해야 하는 작업에 들어가면 세 번째 단계쯤에서 궤도를 벗어났다. 그래서 "로컬 모델은 전처리, 판단은 API"라는 분업이 자연스러웠다.
이번 표에서 눈이 멈춘 건 SWE-bench Pro나 GPQA가 아니라 CoWorkBench 70.7이었다. 목표를 계속 붙들고 도구를 쓰며 궤적을 유지해야 하는 장시간 과제인데, 여기서 27B가 오퍼스 4.6 맥스(68.2)를 넘겼다. 단발 문답 점수가 아니라 오래 버티는 능력에서 격차가 좁혀졌다는 뜻이라 성격이 다르다.
그렇다고 API를 끊으라는 얘기는 아니다. 가장 어려운 문제를 물으면 여전히 프런티어가 이긴다. 다만 회사에서 돌리는 작업 대부분은 그 난도가 아니다. 사내 문서 정리, 반복되는 코드 수정, 화면을 보고 클릭하는 자동화 — 이 구간이 통째로 "내 서버 안에서 끝낼 수 있는 일"로 넘어왔다.
국내 팀에 주는 함의는 셋이다. 하나, 데이터 반출이 막혀 AI 도입이 멈춰 있던 조직에 실제 선택지가 생겼다. 아파치 2.0이라 사용자 수 조건도 별도 협상도 없다. 법무 검토가 필요 없다는 뜻이다.
둘, 예산 계산이 달라진다. 24GB 카드 한 장이 기준선이면 팀 단위 실험이 품의서 한 장으로 통과되는 금액대로 내려온다. 로컬 모델 검토가 번번이 멈춘 지점이 "그래서 서버를 몇 대 사야 하느냐"였다.
셋, 그럼에도 4비트를 에이전트 작업에 그대로 쓰지 않는 편이 안전하다. 양자화 손실은 한 번의 답에서는 안 보이다가 스무 단계짜리 작업에서 누적돼 터진다. 위 표에서 Q8_0이 29GB이니, 에이전트를 진지하게 돌릴 생각이면 32GB 이상을 기준선으로 잡는 게 현실적이다.
마지막으로 하나. 큐원3.8-맥스가 2.4조 파라미터로 헤드라인을 가져갔지만, 생태계를 실제로 움직인 건 늘 손에 잡히는 크기였다. 지난 2년간 파인튜닝과 파생 모델이 폭발한 지점은 전부 그 크기대였다. 이번 주말 국내 커뮤니티에서 가장 많이 오르내릴 파일 이름도 2.4조가 아니라 17.9GB짜리 GGUF 하나일 것이다.
