이미지: METAL
요약
- 멀티버스컴퓨팅이 지식증류 학습에서 VRAM 사용량을 크게 줄이는 두 가지 시스템 개선을 공개했다
- 교사 모델의 top-K 로짓을 미리 캐싱해 학생 모델과 동시에 메모리에 올릴 필요를 없앴다
- 전체 어휘×시퀀스 길이 행렬을 만들지 않는 새로운 KL발산 손실 함수를 적용했다
- 논문 제목
- Efficient Knowledge Distillation for LLMs: Offline Top-K Logits and a Fused Chunked KL Loss
- 발표
- Multiverse Computing, Hugging Face Blog, 2026-08-10
- 예시 모델
- gpt-oss-120b, 어휘 201,088 토큰
- 메모리 사례
- 시퀀스 32K·배치 4 기준 교사 확률 텐서 1개만 bf16으로 약 50GB
- 기존 증류 전체 소요
- 학습 1스텝 당 최대 약 250GB VRAM
멀티버스컴퓨팅(Multiverse Computing)이 대형 언어모델의 지식증류(knowledge distillation) 학습 비용을 낮추는 두 가지 시스템 개선을 담은 논문을 허깅페이스 블로그를 통해 공개했다. 논문 제목은 'Efficient Knowledge Distillation for LLMs: Offline Top-K Logits and a Fused Chunked KL Loss'다.
지식증류는 큰 교사(teacher) 모델의 성능을 작은 학생(student) 모델이 따라 배우도록 학습시키는 기법이다. 기존 방식은 학습 매 단계마다 교사 모델을 함께 메모리에 올려 전체 어휘에 대한 확률 분포를 계산해야 해 VRAM 부담이 컸다. 예를 들어 어휘가 201,088개인 gpt-oss-120b 모델의 경우, 시퀀스 길이 32K·배치 4 조건에서 교사 확률 텐서 하나만 bf16 기준 약 50GB에 달하며, 여기에 그레이디언트와 활성화 값, 옵티마이저 상태 등을 더하면 학습 1스텝에서 VRAM 사용량이 최대 약 250GB까지 치솟을 수 있다고 밝혔다.
두 가지 개선점
연구팀은 교사 모델의 top-K 로짓을 미리 한 번 계산해 캐싱함으로써 학습 중 교사 모델을 학생 모델과 함께 메모리에 유지할 필요를 없앴다. 또한 전체 어휘 크기×시퀀스 길이 규모의 행렬을 직접 만들지 않는 새로운 메모리 효율적 KL발산 손실 함수를 도입해, 파이토치(PyTorch)나 엔비디아 Megatron-Bridge 같은 라이브러리의 기본 구현보다 VRAM 사용량을 크게 낮췄다고 설명했다.
연구팀은 이 두 변화를 합치면 GPU 1대만으로도 장문맥(long-context) 복구 학습이 가능해지고, 대규모 실험을 실행하는 비용도 실질적으로 낮아진다고 밝혔다. 최근 2.8조 파라미터 규모로 로드에만 약 3TB VRAM이 필요한 Kimi-K3처럼 초대형 모델이 늘면서, 엔비디아의 Nemotron 3 Puzzle 75B나 멀티버스컴퓨팅 자체의 Hypernova 60B 등 압축 모델 공개가 이어지는 가운데 나온 결과다.
댓글