이미지: @UnslothAI (X) 화면 갈무리
요약
- Unsloth가 Qwen3.8-27B를 24GB VRAM 그래픽카드나 무료 Kaggle 노트북에서 파인튜닝할 수 있게 지원한다고 밝혔어요.
- FA2 대비 훈련 속도는 약 1.5배 빠르고 VRAM 사용량은 절반 수준으로 줄었으며 정확도 손실은 없다고 설명했어요.
- QLoRA는 22GB, LoRA는 36GB 이상이 필요하고 전체 파인튜닝(FFT)은 VRAM을 4배가량 더 쓴다고 안내했어요.
- 지원 방식
- Unsloth 무료 Kaggle 노트북 — Conversational(비전 옵션), RL GRPO
- 로컬 훈련 최소 사양
- 24GB VRAM (QLoRA는 22GB에서도 가능)
- 훈련 성능
- FA2 대비 약 1.5배 빠름, VRAM 약 50% 절감, 정확도 손실 없음
- LoRA 요구 VRAM
- 36GB 초과
- 전체 파인튜닝(FFT)
- VRAM 약 4배 소요
- Kaggle 무료 GPU
- 2× Tesla T4, 30시간 제공
- 모델 사양
- 밀집형 27B 통합 비전-언어 모델, 텍스트·이미지·영상 지원, 사고 제어, 262K 컨텍스트
- 4비트 양자화 모델명
- Qwen3.8-27B-unsloth-bnb-4bit
27B 모델을 개인 GPU에서 훈련한다는 것
게이밍용 상급 그래픽카드 한 장에 들어가는 VRAM이 보통 24GB예요. 그 정도 메모리로 270억 개 파라미터를 가진 모델을 통째로 추가 학습시킬 수 있다는 건 예전 같으면 상상하기 어려웠던 일이에요. 개발툴 업체 Unsloth가 알리바바 큐원(Qwen)의 최신 모델 Qwen3.8-27B에 대해 바로 이 작업을 지원한다고 X 계정을 통해 밝혔어요.
큐원은 알리바바가 직접 훈련해 내놓는 모델 계열이에요. 지난 8월 14일 아파치 2.0 라이선스로 가중치가 공개된 Qwen3.8-27B는 공개 직후 허깅페이스 트렌딩 1위에 올랐고, 사용자 비교 테스트에서 구글 제미나이 3.7 플래시를 앞섰다는 사례도 나온 바 있어요. 큐원3.8-27B, 노트북서 돌려 제미나이 3.7 플래시 눌렀다 관련 기사에서 이미 다룬 내용이에요. 이번 발표는 그 뒤를 잇는 소식으로, 공개된 모델을 실제로 손에 쥐고 원하는 용도에 맞게 다시 훈련시키는 단계예요.
무엇이 달라졌나
Unsloth는 다 만들어진 모델을 특정 목적에 맞게 추가 훈련시키는 작업, 즉 파인튜닝을 지원하는 도구예요. 자사 깃허브에 공개한 안내에 따르면 Unsloth로 Qwen3.8-27B를 훈련하면 기존 FA2(플래시어텐션2) 방식보다 약 1.5배 빠르고 VRAM은 절반가량만 쓴다고 해요. 정확도 손실은 없다고 덧붙였어요. 이런 효율은 Flash Linear Attention 커널이라는 연산 최적화 기술을 적용한 결과라고 설명했어요.
훈련 방식별로 필요한 메모리 문턱도 갈려요. 모델 파라미터 대부분을 얼리고 일부만 저비용으로 학습하는 QLoRA는 22GB에서도 돌아가고, LoRA는 36GB를 넘어야 해요. 모델 전체를 다시 학습시키는 전체 파인튜닝(FFT)은 이보다 VRAM을 4배가량 더 요구한다고 훈련 가이드 문서에 나와 있어요. 강화학습(RL) 방식의 훈련도 지원하는데, 이 역시 무료 환경이나 22GB VRAM에서 가능하다고 밝혔어요.
어떻게 써보나
자기 GPU가 없어도 시작할 수 있어요. Unsloth는 Kaggle에서 무료로 제공하는 노트북을 통해 진입 경로를 열어뒀어요. Kaggle은 구글이 운영하는 서비스로, 구글 코랩과 비슷하게 2개의 테슬라 T4 GPU를 30시간 무료로 빌려 쓸 수 있어요.
- Unsloth가 제공하는 대화형(Conversational) 노트북이나 강화학습용 RL GRPO 노트북 중 하나를 열면 돼요.
- 대화형 노트북에서는 비전 기능을 켤 수 있고요, RL 노트북에서는 모델을 Qwen3.8로 바꿔 지정하면 훈련 준비가 끝나요.
- 4비트로 압축한
Qwen3.8-27B-unsloth-bnb-4bit모델을 불러와 QLoRA 방식으로 학습을 시작해요. - 학습이 끝난 모델은 NVFP4, FP8, GGUF 등 원하는 포맷으로 내보낼 수 있어요.
직접 GPU를 갖춘 경우라면 macOS·윈도우·리눅스용 Unsloth 데스크톱 앱을 내려받아 로컬에서 바로 시작할 수도 있어요. 텍스트 데이터만으로 지도학습(SFT)을 하려면 아래처럼 큐원 채팅 템플릿으로 렌더링된 text 컬럼을 가진 데이터셋을 준비하면 돼요.
python from unsloth import FastModel from datasets import load_dataset from trl import SFTTrainer, SFTConfig
max_seq_length = 2048 model, tokenizer = FastModel.from_pretrained( model_name = "unsloth/Qwen3.8-27B-unsloth-bnb-4bit", max_seq_length = max_seq_length, load_in_4bit = True, full_finetuning = False,
활용 예를 들면, 사내 고객 응대 로그를 데이터로 만들어 대화형 노트북에서 QLoRA로 돌리면 특정 어투와 업무 지식에 맞춰진 챗봇 모델을 만들 수 있어요. 이미지가 섞인 매뉴얼 데이터라면 비전 옵션을 켜서 문서 이해에 특화된 모델을 학습시켜볼 수도 있고요.
얼마나 필요한지 비교하면
| 훈련 방식 | 필요 VRAM | 비고 |
|---|---|---|
| QLoRA | 22GB | 무료 Kaggle 노트북에서도 가능 |
| LoRA | 36GB 초과 | — |
| 전체 파인튜닝(FFT) | QLoRA 대비 약 4배 | 정밀도가 필요한 경우 |
| RL(GRPO) | 무료 또는 22GB | 강화학습 방식 |
github.com/unslothai/unsloth 저장소에서 설치 방법과 노트북 링크를 확인할 수 있어요.
에디터의 시선
오픈웨이트 모델이 쏟아져도 그걸 실제로 손에 쥐고 자기 데이터에 맞게 바꿀 수 있는 사람은 소수였어요. 27B급 모델을 제대로 파인튜닝하려면 A100이나 H100 같은 데이터센터급 GPU가 필요하다는 게 통념이었죠. 그런데 이번 발표는 그 기준선을 게이밍용 카드 한 장, 심지어 무료 클라우드 GPU 수준까지 끌어내렸다는 점에서 의미가 있어요. Qwen3.8-27B가 공개 직후 허깅페이스 트렌딩 1위에 오르고 제미나이 3.7 플래시를 앞선 비교 사례까지 나온 배경에는, 이렇게 개인 개발자가 바로 붙잡고 손볼 수 있는 훈련 도구가 함께 갖춰졌다는 사실이 깔려 있어요.
이런 크기의 모델 파인튜닝 도구를 실무에 붙여 보면 결론이 늘 비슷해요. QLoRA 같은 경량 방식으로 먼저 원하는 방향이 맞는지 확인하고, 그다음 전체 파인튜닝으로 넘어가는 순서가 시간과 GPU 비용을 가장 아끼는 길이에요. 국내 스타트업이나 사내 AI팀이라면 사내 데이터로 QLoRA 실험부터 시작해 보는 게 합리적이에요. 무료 Kaggle 노트북 30시간이면 소규모 데이터셋 실험 하나를 완주하기에 부족하지 않은 시간이고, 결과가 괜찮으면 그때 자체 GPU 투자나 클라우드 임대를 검토해도 늦지 않아요.
다만 262K 컨텍스트와 비전·영상 입력까지 지원하는 모델을 통째로 재학습하려는 욕심은 아직 이른 선택이에요. FFT는 VRAM을 4배 더 쓰는데, 그 정도 자원을 투입할 가치가 있는지는 QLoRA 단계에서 먼저 검증하는 게 순서예요. 앞으로 몇 주 안에 이 모델을 특정 업무에 맞춰 재학습한 파생 버전들이 허깅페이스에 여럿 올라올 걸로 봐요. 오픈웨이트 모델과 경량 훈련 도구가 같이 맞물리는 지금 흐름에서, 다음 차례는 이 조합을 표준 개발 환경으로 삼는 도구 업체들의 경쟁이 될 거예요.
댓글